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Prufungsantrag gem. § 44 PatG ist gestellt 

(54) Fahrleitvorrichtung und Fahrieitverfahren fur ein Fahrzeug 

(57) Fahrleitvorrichtung und Fahrieitverfahren fur ein Fahrzeug 
(1 ) r belnhaitend eine stereoskopische Bildverarbeitungsein- 
richtung (15) fur eihen Gegenstand au&erhalb des Fahr- 
zeugs, der durch ein Abbildungssystem {10) abgebildet wird, 
das am Fahrzeug angebracht ist, mit einem Konstruktionsde- 
tektorelement (100) zur Detektion mehrerer verschiedener 
Konstruktionen und Gegenstande durch Verwenden dreidi- 
mensionaler Positionsdaten, die fur jeden Bereich eines 
Objekts entsprechend der Distanzverteilungsdaten von der 
stereoskopischen Bildverarbeitungseinrichtung berechnet 
werden, ferner eine Zwischenraurndistanzberechnungsein- 
richtung (110) zur jeweiligen Berechnung der nachsten 
Distanz als reenter und linker Zwischenraumdistanzen je- 
weils zwischen einer verlangerten Unie der linken oder 
B . rechten Seite des Fahrzeugs und jedem der Enden auf der 
Fahrzeugseite mehrerer verschiedener durch die Einrichtung 
(100) detektierter Konstruktionen und eine Informationsein- 
richtung (1 1 5), die den Fahrer uber auf diese Zwischenraum- 
distanzdaten bezogenen Daten informiert, um so eine 
Distanzverteilung des Gesamtbildes abhangrg von Abwei- 
chungsbetragpositionen entsprechend dem Paar stereosko- 
pischer Silder gemaS einem Triangulationsprinzip zu gewin- 
nen. 
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Beschreibung 



Die vorliegende Erfindung betrifft eine Fahrleitvorrichtung sowie ein Fahrleitverfahren fQr ein Fahrzeug, die 
ermdglichen, daB dieses Fahrzeug durch einen engen Weg sicher hindurchfahren kann, und damit die dem 
Fahrer in einem solchen Zustand auferlegte Last herabsetzbar ist 

Ein Fahrzeug wie ein Auto umfaBt gewahnlich einen Sensor, in dem ein Tastschalter oder BerQhrungsschalter 
eingeschaltet wird, wenn ein Eckpf eiler oder ein stangenf6rmiges Teil ein Hindernis bertihrt, das z, B. aus einer 
Wand, Leitplanke, einem Pfahl oder einem parkenden Fahrzeug besteht, wie dies in dem offengelegten japani- 
schen Gebrauchsmuster Nr. 5-68 742 (1993) beschrieben ist, urn fur eine Kompensation der beschrSnkten Sin- 
neswahrnehmung eines Fahrers zu sorgen, indem ein Zwischenraum zwischen dem Fahrzeug und Hindernissen 
erkannt wird, die auf der linken und rechten Seite des Fahrzeugs vorhanden sind 

In letzter Zeit ist eine Technologie entwickelt worden, um die dem Fahrer auferlegte Last zu mindern die 
besteht, wenn das Fahrzeug durch einen schmalen Weg fahrt, und zwar in der Weise, daB Ultraschallsensoren 
die auf der Seitenflache von vier Ecken des Fahrzeugs angeordnet sind, Ultraschallwellen aussenden, eine am 
Hmdernis reflektierte Schallwelle erfaBt wird und die Distanz des Spaltes gemessen wird, um dann den Fahrer 
hierdurch uber die gemessene Distanz zu informieren. 

Da jedoch der Fahrer eine groBe Erfahrung bendtigt, um das Fahrzeug mit der oben erwahnten Eckstange zu 
betreiben, die an der AuBenseite der Fahrzeugkarosserie als Zeichen bef estigt ist, ist es nicht m6glich, tatsachlich 
die Wirkung der Herabsetzung der auf dem Fahrer lastenden BQrde zu erzielen. Bei Kontaktsensoren, wie 
Abfuhlsensoren, kann der Fahrer ein Lenkrad nicht ausreichend schnell betatigen, nachdem das Hindernis schon 
beruhrt worden ist, da er die Position nicht vor dem Beruhren des Gegenstandes erkennen kann 

Ferner kann auch die Ultraschall technologie dem Fahrer die positioned Beziehung des Hindernisses infolge 
einer Verschlechterung einer raumlichen Auflosungsleistung nicht vermitteln, wobei dieses Verfahren eine 
Gegenstandabhangigkeit zeigt, wobei die abgestrahlte Ultraschallwelle von Kieidern von FuBgangern und 
Schleuderwanden und anderen Teilen nicht zurOckgestrahlt wird Dementsprechend ist es recht schwieri* 
vielfaltige auf der StraBe vorhandene Strukturen mit dieser Technologie differenzierend zu erf assen 

Hinsichtlich der oben dargelegten Situation liegt der Erfindung die Aufgabe zugrunde, eine Fahrleitvorrich- 
tung sowie em Fahrleitverfahren fur ein Fahrzeug anzugeben, die imstande sind, eine ausreichende Sicherheit 
beim Hindurchfahren durch einen engen Weg zu bieten und die auf dem Fahrer lastende Burde herabzusetzen 
Diese Aufgabe wird durch den Gegenstand des Patentanspruchs 1 bzw. des Patentanspruchs 6 gelost 
Vorteilhafte Weiterbildungen der Erfindung sind in den Unteranspr lichen gekennzeichnet 
ErfindungsgemaB wird der Fahrer uber den jeweiligen Zwischenraum informiert, der zwischen einer detek- 
tierten Struktur und der eigenen Fahrzeugkarosserie vorliegt, und zwar in Abhangigkeit von einer korrekten 
Detektion verschiedener Konstruktionen und Aufbauten, die in der Vorausrichtung des Fahrzeugs vor dem 
Fahrzeug iiegen, und zwar bevor das Fahrzeug durch den engen Weg fahrt. 

Die erfindungsgemaBe Fahrleitvorrichtung umfaBt eine stereoskopische Bildverarbeitungseinrichtung zum 
Verarbeiten eines Paares stereoskopischer Bilder eines sich auBerhalb des Fahrzeugs befindenden Gegenstan- 
des, der durch ein Abbildungssystem abgebildet wird, das auf dem Fahrzeug so angebracht ist daB eine 
Distanzverteilung eines Gesamtbildes in Abhangigkeit von durch Abweichungsbetrage gekennzeichneten Posi- 
tioner! entsprechend dem Paar der stereoskopischen Bilder gemaB dem Triangolationsprinzip gewonnen wird 
Eine IConstruktionsdetektoreinrichtung detektiert die vorhandenen vielfaltigen unterschiedlichen Konstruktio- 
nen und Gegenstande durch Verwenden dreidimensionaler Positionsdaten, die fur einen jeden Teil oder Ab- 
schnitt eines Gegenstandes entsprechend der Distanzverteilungsdaten von der stereoskopischen Bildverarbei- 
tungseinrichtung berechnet werden. Eine Zwischenraumdistanzberechnungseinrichtung berechnet jeweils die 
nachste Distanz als rechte und linke Zwischenraumdistanzen, die jeweils zwischen einer verlangerten Linie der 
linken und rechten Seite des Fahrzeugs und jedes der Enden auf der Fahrzeugseite zu mehreren verschiedenen 
Konstruktionen ermittelt werden, die durch die Konstruktionsdetektoreinrichtung detektiert worden sind Eine 
Informationsemrichtung informiert den Fahrer Uber die Daten, die sich auf die linken und rechten Zwischen- 
raumdaten beziehen, welche von der Zwischenraumdistanzberechnungseinrichtung berechnet worden sind 

Nachdem in der vbrliegenden Erfindung die Distanzverteilungsdaten ilber das gesamte Bild hinweg durch das 
Pnnzip der Triangulation in Abhangigkeit vom Abweichungsbetrag der Positionen, die einander in dem Paar 
stereoskopischer Bilder entsprechen, die stereoskopisch von Gegenstanden um das Fahrzeug herum abgebildet 
werden, gewonnen wurden, werden die dreidimensionalen Positionen der jeweiligen Abschnitte entsprechend 
den Distanzverteilungsdaten gewonnen und hierdurch die Konstruktion, die gegebenenfails ein Hindernis 
darstellt, unter Verwendung der dreidimensionalen Positionsdaten detektiert. Die Berechnungseinrichtung be- 
rechnet dabei jeweils die nachste Distanz als rechte und linke Zwischenraumdistanzen zwischen einer verlanger- 
ten Linie der linken oder rechten Seite des Fahrzeugs und jeder der Enden auf der Fahrzeugseite der mehreren 
verschiedenen Konstruktionen, die vorab detektiert worden sind, um den Fahrer Uber die rechten und linken 
Zwischenraumdistanzdaten zu informieren. 

Wie erlautert, gewinnt die vorliegende Erfindung die Distanzverteilung Uber die Gesamtbilder in Abhangig- 
keit von den Abweichungsbetragen zwischen den Positionen, die einander in dem Paar der stereoskopischen 
Bilder entsprechen, die die Objekte um das Fahrzeug herum abbilden, ferner wird erfindungsgemaB die dreidi- 
mensionale Position jedes Teils des Objekts entsprechend der Distanzverteilungsdaten berechnet, und es wird 
eine Mehrzahl von Konstruktionen detektiert, indem dreidimensionale Positionsdaten berechnet' werden. Die 
Vorrichtung der vorliegenden Erfindung berechnet ferner als die linken und rechten Zwischenraumdistanzen die 
nachste. Distanz zwischen den Enden oder Endbereichen auf der Fahrzeugseite von der detektierten Mehrzahl 
der Gegenstande und der verlangerten Linien der Fahrzeugseiten und informiert den Fahrer uber die entspre- 
chend ermittelten Zwischenraumdaten. Dementsprechend ist es moglich, den Fahrer in geeigneter Weise uber 



DE 44 46 452 Al " 

die Zwischenraumdistanz zwischen der Karosserie seines Fahrzeugs und den verschiedenen Konstruktionen zu 
informieren, die in der Vorausrichtung vor dem Fahrzeug vorhanden sind, bevor das Fahrzeug durch den 
schmalen Weg zu fahren hat nachdem vorab prizise detektiert worden ist, wodurch auBerst vorteilhafte Effekte 
erzielbar sind wie die Herabsetzung der dem Fahrer auferiegten Last und die Absicherung gegen Risikosituatio- 
nen und Unfalle. 

Im folgenden wird die Erfindung an Hand der Zeichnungen naher erlautert Es zeigen: 

Fig, 1 eine Ansicht eines Fahrzeugs mit einer darin installierten Fahrleitvorrichtung gemMB einem Ausfuh- 
rungsbeispiel der Erfindung; 
Fig. 2 ein Blockschaltbild der Fahrleitvorrichtung; 

Fig. 3 eine beispielhafte Ansicht fur den Bildschirm einer Displayeinrichtung; 
Fig. 4 eine Vorderansicht auf das Fahrzeug; 

Fig. 5 eine beispielhafte Darstellung, die die Beziehung zwischen einer Kamera und einem Objekt zeigt; 
Fig. 6 eine detaillierte Schaltung eiries Bildprozessors; 

Fig. 7 eine Ansicht, die den Aufbau einer verwendeten City- Block- Distanzberechnungsschaltung zeigt; 
Fig. 8 ein Blockschaltbild, das eine Minimumwertdetektorschaltung zeigt; 

Fig. 9 eine beispielhafte Ansicht, die eirie Abbildung der CCD-Kameras, die am Fahrzeug angebracht sind, 
vermitteit; 

Fig. 1 0 eine beispielhafte Ansicht, die ein Distanzbild dars t eil t ; 
Fig. 1 1 eine Ansicht von oben auf das Fahrzeug; 
Fig. 12 eine seitliche Ansicht des Fahrzeugs; 

Fig. 13 ein Blockschaltbild eines Distanzbild verarbeitungscomputers; 

Fig. 14 eine beispielhafte Ansicht, die ein Klassifizierungsverf ahren fur ein Bild zeigt; 

Fig. 15 eine beispielhafte Ansicht, die die Beziehung zwischen einem detektierten Gegenstand und einem 
Histogramm verdeutlicht; 

Fig. 16 eine beispielhafte Ansicht, die eine detektierte Distanz und ein detektiertes Ergebnis einer Region 
zeigt, in der ein Gegenstand existiert; 

Fig. 17 eine beispielhafte Ansicht, die die Form eines moglichen dreidimensionalen Fensters zur Detektion des 
Gegenstandes zeigt; 

Fig. 18 eine beispielhafte Ansicht, die die Form eines zweidimensionalen Fensters zur Detektion des Gegen- 
stands zeigt; 

Fig. 19 eine beispielhafte Ansicht, die die Daten zeigt, die die Kontur des Gegenstandes darstelien; 
Fig. 20 eine beispielhafte Ansicht, die die GroBenabmessung der externen durch das Konturbild detektierten 
Form zeigt; 

Fig. 21 eine beispielhafte Darstellung, die die Form einer Suchregion fur die Detektion einer Seitenwand 
zeigt; 

Fig. 22 eine beispielhafte Ansicht, die eine Seitenwandsuchregion auf einem Bild zeigt; 
Fig. 23 eine beispielhafte Ansicht, die eine Verteilungssituation von Konstruktionsdaten zeigt; 
Fig. 24 eine beispielhafte Ansicht, die eine Idee von einer geraden Linie bei der Hough-Transformation 
vermitteit; 

Fig. 25 eine beispielhafte Ansicht, die eine Auswahl- oder Votierungsregion eines Parameterraums zeigt; 
Fig. 26 eine beispielhafte Ansicht, die eine Seitenwandkandidatenregion zeigt; 

Fig. 27 eine beispielhafte Ansicht, die die Beziehung zwischen einem Histogramm und einer Region zeigt, in 
der eine Seitenwand vorliegt; 

Fig. 28 eine beispielhafte Ansicht, die ein detektiertes Ergebnis der Seitenwand zeigt; 

Fig. 29 eine beispielhafte Ansicht zur Verdeutlichung der Berechnung einer Zwischenraumdistanz; 

Fig. 30 ein FluBdiagramm, das die Funktion eiries Bildprozessors verdeutlicht; 

Fig. 31 eine beispielhafte Darstellung zur Aufzeigung einer Speicherungsfolge in einem Schieberegister ■ 

Fig. 32 eine Zeittafel, die die Funktion einer City- Block- Distanzberechnungsschaltung zeigt; 

Fig. 33 eine Zeittabelle, die die Funktion einer Fehlbetrags-Bestimmungseinrichtung zeigt; 

Fig. 34 eine Zeittafel, die den Gesamtfunktionsablauf des Bildprozessors verdeutlicht; 

Fig. 35 und 36 FluBdiagramme einer Gegenstandsdetektionsverarbeitung; 

Fig. 37 und 38 FluBdiagramme der Arbeitsprozesse fur eine Seitenwanddetektion; und 

Fig. 39 ein FluBdiagramm fur die Verarbeitung der Zwischenraumdistanzberechnung. 

Im folgenden wird detailJiert eine Fahrleitvorrichtung fur ein Fahrzeug gemaB bevorzugten Ausfiihrungsbei- 
spielen der vorliegenden Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen erlautert. 

In Fig. 1 bezeichnet die Bezugszahl 1 ein Fahrzeug wie ein Auto, und das Fahrzeug 1 umfaBt eine Fahrleitvor- 
richtung, die die Funktion eines aktiven Steuerhilfssystems (ADA-Systems von active drive assist) aufweist, um 
dem Fahrer eine hochgradige Steuerhilfe zu bieten und hierdurch mogliche Risiken sichergestellt zu vermindern, 
indem der Fahrer entiastet wird, wenn das Fahrzeug durch einen schmaJen Weg fahrt, in dem Wande, Gelander, 
Briistungen und dergleichen, sowie Masten elektrischer Einrichtungen (wie Telefonmasten) und weitere parken- 
de Fahrzeuge vorliegen. 

Die Fahrleitvorrichtung 2 umfaBt ein stereoskopisches optisches System 10 mit einem Paar Kameras auf der 
linken und rechten Seite als Abbildungssystem zum Abbilden von Gegenstahden im Bereich urn das Fahrzeug 
herum. Ferner ist eine stereoskopische Bildverarbeitungseinrichtung 15 zum Berechnen einer dreidimensionalen . 
Distanzverteilung im gesarmen Bild vorgesehen, indem hierzu ein Paar Bilder, die durch die linken und rechten 
Kameras des stereoskopischen optischen Systems 10 aufgenommen wurden, verarbeitet werden. Eine vorgese- 
hene FConstruktionsdetektionseinrichtung 100 detektiert mit hoher Geschwindigkeit eine dreidimensionaie Posi- 
tion des kontinuierlichen Aufbaus bzw. der fortgesetzten Konstruktion einer Grenze der StraBe wie einer 
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Wandung, Briistung eines Gel&nders sowie Gegenstanden auf der StraBe wie weiteren Fahrzeugen, FuBgangern 
und Gebauden, jeweils in Abhangigkeit von den Distanzverteilungsdaten, die von der stereoskopischen Bildver- 
arbeitungseinrichtung 15 zugef Qhrt werden. Eine Zwischenraum-Distanzberechnungseinrichtung 1 10 berechnet 
als eine Zwischenraum-Distanz eine nachste Distanz links und rechts des Fahrzeugs zwischen einer verlangerten 
5 Linie der Seiten der Fahrzeugkarosserie und den Enden der Wand oder Konstruktion, die durch die Konstruk- 
tionsdetektoreinrichtung detektiert worden ist. Eirie Informationseinrichtung 115 dient zum Informieren des 
Fahrers iiber die Zwischenraum-Distanzdaten, die durch die Berechnungseinrichtung 110 bezUglich der linken 
und rechten Seite des Fahrzeugs berechnet worden sind. 

Fig. 2 ist ein Blockschaltbild, das den Hardware- Aufbau der Fahrleitvorrichtung 2 zeigt Das stereoskopische 
io optische System 10 verwendet CCD-Kameras, die ladungsgekoppehe Bauelemente (CCD's) oder dergleichen 
umfassen, und weist ein Paar CCD-Kameras 1 la und 1 lb auf der linken bzw. rechten Seite fiir eine kurze Distanz 
und ein Paar CCD-Kameras 12a und 12b auf der rechten und linken Seite fur groBe Distanz auf. Das stereosko- 
pische optische System 10 ist mi t dem Bildprozessor 20 verbunden, urn die Funktion als stereoskopische 
Bildverarbeitungseinrichtung 15 vorzusehen. 

is Dartlber hinaus ist der Bildprozessor 20 mit einem Distanzbild-Verarbeitungscomputer 120 verbunden, urn die 
Funktion als Konstruktionsdetektoreinrichtung 100 und Zwischenraumdistanzberechnungseinrichtung 110 vor- 
zusehen. Der Distanzbild-Verarbeitungscomputer 120 ist auch mit einem Display 3 als Informationseinrichtung 
1 15 verbunden. 

Der Bildprozessor 20 umfaBt eine Distanzdetektorschaltung 20a und einen Distanzbildspeicher 20b. Die 
20 Distanzdetektorschaltung 20a sucht Abschnitte, die dasselbe Objekt in jeder von feinen Regionen abbilden, 
gegenttber dem Paar aus zwei stereoskopischen Bildern, die von dem stereoskopischen optischen System 10 
aufgenommen werden (bestimmt mit anderen Worten fiir samtliche feinen Regionen in beiden Bildern den 
gleichen Gegenstand) und berechnet eine Distanz zu diesem Gegenstand in Abhangigkeit von einem Abwei- 
chungsbetrag der Positionen entsprechend den aufgefundenen Abschnitten. Der Distanzbildspeicher 20b spei- 
25 chert Distanzdaten, die ein Ausgangssignal der Distanzdetektorschaltung 20a darstellen. 

Der Distanzbild-Verarbeitungscomputer 120 umfaBt eine Auslegung als Multimikroprozessorsystem, in der 
ein Mikroprozessor 120a, ein Mikroprozessor 120b und ein Mikroprozessor 120c Ober einen Systembus 121 
verschaltet sind. Der Mikroprozessor 120a ftihrt hauptsachlich eine Verarbeitung der Detektion jeweiliger 
Gegenstande aus, der Mikroprozessor 120b fOhrt hauptsachlich eine Verarbeitung der Detektion einer Seiten- 
30 wand aus und der Mikroprozessor 120c fUhrt hauptsachlich eine Verarbeitung hinsichtlich der Berechnung einer 
Zwischenraumdistanz aus. 

Der Systembus 121 ist mit einer Interfaceschaltung 122 verbunden, die mit dem Distanzbildspeicher 20b 
verbunden ist, ferner einem Nur-Lesespeicher (ROM) 123, der ein Steuerprogramm speichert, einem Speicher 
mit wahlfreiem Zugriff (RAM) 124, der verschiedene Parameter wahrend der berechnenden Verarbeitung 

35 speichert, und einem Ausgangsspeicher 125 zum Speichern von Parametern wie Verarbeitungsergebnissen, 
ferner mit einer Displaysteuereinheit 126 zum Steuern des Displays oder der Anzeige 3 und einer Interfaceschal- 
tung 127 zum Eingeben von Signalen von Sensoren und Schalteinrichtungen wie einem Fahrzeuggeschwindig- 
keitssensor 4, einem Lenkwinkelsensor 5 zur Detektion eines Lenkwinkels und eines Modussetzschalters 6 zur 
Selektion eines Unterstutzungsmodus des ADA fur den Fahrer, wobei diese Einheiten am Fahrzeug angebracht 

40 sind. 

Der Distanzbild-Verarbeitungscomputer 120 umfaBt unterteilte Speicherregionen, die jeweils von den Mikro- 
prozessoren 120a, 120b und 120c verwendet werden, und fuhrt parallel eine Objektdetektionsverarbeitung und 
eine Seitenwanddetektionsverarbeitung in Abhangigkeit von den Distanzdaten vom Bildprozessor 20 durch. 
Der Computer 120 zeigt ein Bild auf dem Display 3 nach einer Zwischenraumdistanzberechnungsverarbeitung in 
45 Abhangigkeit von den detektierten Objektdaten durch, wenn ein Stand ardsignal durch Manipulation des Mo- 
. dussetzschalters 6 durch den Fahrer eingegeben wird. 

Wie in Fig. 3 gezeigt, ist ein Monitorabschnitt 3a im zentralen Abschnitt auf einem Bildschirm des Displays 3 
vorgesehen, urn eine Ansicht (Szenerie) vor dem Fahrzeug durch den jeweiligen Zustand des weiter unten 
erwahnten Distanzbildes vorzusehen. Ein Modusdisplayabschnitt 3b ist auf der Seite des Monitorabschhitts 3a 
so vorgesehen und dient zur Darstellung jedes Modus (Fahrgeschwindigkeit, Leitsteuerung, Unterstutzung und 
PrQfung) des ADA, wobei eine relevante Anzeige des Monitorabschnitts 3a entsprechend einer Betriebseingabe 
des Modussetzschalters 6 erleuchtet wird; 

Ferner sind ein Datendisplayabschnitt 3c und ein Positionsdisplayabschnitt 3d vorgesehen, wobei letzterer 
durch seine in vier Abschnitte oder Sektoren aufgeteilte ovale Form vorn, rechts, hinten und links vom Fahrzeug 
55 anzeigt bzw. darstellt Die beiden Abschnitte 3c und 3d sind oberhalb des Monitorabschnitts 3a vorgesehen. Ein 
Modusdatendisplayabschnitt 3e ist unterhalb des Monitorabschnitts 3a vorgesehen und dient zur Anzeige von 
Angaben uber die Distanz zwischen Fahrzeugen, sowie Geschwindigkeit, linksseitiger Zwischenraumabstand 
und rechtsseitiger Zwischenraumabstand jeweils versehen mit den numerischen Werten aus der Berechnung. 
Tn der Erfindung selektiert der Fahrer den Leitmodus durch Betatigen des Modussetzschalters 6, wenn das 
eo Fahrzeug durch einen schmalen Fahrweg fahren soil, bei dem mehrere verschiedene Hindernisse vorliegen. 
lnfolgedessen wird der Displayabschnitt "Leiten" im Modusdisplayabschnitt 3b eingeschaltet, und gleichzeitig 
berechnet der Computer 120 jeweils die Distariz auf der rechten und linken Seite zwischen den verlangerten 
Linien der rechten und linken Seite der Karosserie des Fahrzeugs und den Enden der Hindernisse um das 
Fahrzeug auf der StraBe in Abhangigkeit vom Distanzbild nach Verarbeitung eines Paares der stereoskopischen 
65 Bilder, die vom stereoskopischen optischen System 10 aufgenommen wurden, fiir jeden moglichen DistahzwerL 
Wie in Fig. 3 gezeigt, wird der numerische Wert der Zwischenraumdistanz unter der Anzeige dieser GrdBe als 
Wort (d. h. rechte und linke Zwischenraumdistanz) im Modusdatendisplayabschnitt 3e angezeigt, und es werden 
der rechte und linke Abschnitt des Positionsdisplayabschnitts 3d eingeschaltet. Der Positionsdisplayabschnitt 3d 
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wird ausgeschaltet und auf der entsprechenden Seite mit Rot dargesteDt, um den Kontakt mit einem Hindernis 
als Alarm anzuzeigen, falls bei der Geradeausfahrt bzw. geradeaus die berechnete Zwischenraumdistanz weni- 
ger als 0 (Null) betrSgt oder 0. Der Positionsdisplayabschnitt 3d wird eingeschaltet Und durch Gelb dargestellt, 
wenn die Kontaktgefahr beim sorgf&ltigen Bet&tigen des Lenkrades durch den Fahrer besteht, wenn die 
Zwischenraumdistanz mehr als 0 (Null) betr&gt oder 20 cm oder weniger betrSgt Der Positionsdisplayabschnitt 5 
3d wird eingeschaltet und durch Grtin angezeigt, wenn angezeigt werden soil, dafl die Gefahr ausreichend gering 
ist, falls geradeausgefahren wird, wobei hier die Bedingung ist, daB die Zwischenraumdistanz mehr als 20 cm 
be trSgt Bei Gelb hingegen wird vorsichtig gefahren. 

Entsprechend kann der Fahrer auf dem Bildschirm des Displays sicherstellen, daB das Fahrzeug sicher den 
schmalen Fahrweg passiert, indem der Modussetzschalter 6 betatigt wird, bevor durch diesen Fahrweg huv 10 
durchgefahreh wird, bei dem eine Seitenwand, elektrische Einrichtungen wie Telefonmasten und parkende 
Autos vorliegen, wodurch vorab ein Kontakt oder Aufprall vermieden wird, indem die dem Fahrer sonst 
auferlegte Last herabgesetzt wird. Da ferner der Fahrer die Zwischenraumdistanz quantitativ erfassen kann, ist 
es moglich, daB der Fahrer auf leichte Weise die Fahrzeugposition feststellen kann und den weiteren Vorgang 
fur eine sichere Fahrt vorausplanen kanri. 15 

Als vereinfachte Losung kann eine Anzeige z. B. in Form eines graphischen Balkens anstelle der Anzeige 3 
vorgesehen werden, um einen Lichtabschnitt jeweils entsprechend der Zwischenraumdistanz zu andern. Ferner 
konnen auch ein Ton oder eine Stimme als Ansage fur die Informationseinrichtung 115 eingesetzt werden, um 
dem Fahrer die jeweilige Zwischenraumdistanz zu vermitteln, und anstelle der visueilen Anzeige eingesetzt 
werden. 20 

Im folgenden wird die Abbildungsverarbeitungsfunktion durch den Bildprozessor 20 erlautert. Ferner werden 
erlSutert die Konstruktionsdetektionsfunktion durch den Distanzbild-Verarbeitungscomputer 120 und eine 
Zwischenraumdistanz-Berechnungsfunktion, wenn der Leitmodus durch den Modussetzschalter 6 ausgewahlt 
ist Die Distanzberechnung durch den Bildverarbeitungscomputer 120 wird nur ausgeffchrt, wenn die detektier- 
ten Konstruktionen den Weg in die Vorausrichtung nicht wie ein Hindernis blockieren. 25 

Ein Paar Kameras auf der linken und rechten Seite, die das stereoskopische optische .System 10 gemaB 
Darstellung in Fig. 4 bilden, umfassen die beiden CCD-Kameras 11a und lib (die fur die weitere Darstellung als 
CCD-Karnera 11 angezeigt sind) und zwei CCD-Kameras 12a und 12b (die ebenfalls durch CCD-Kameras 12 
angezeigt sind). Die CCD-Kameras 11a und lib sihd im vorderen Bereich an der Decke des Fahrzeuginnenrau- 
mes unter vorbestimmter Distanz vorgesehen, um Gegenstande in reiativ kurzem Abstand abzubilden. Die 30 
CCD-Kameras 12a und 12b sind ebenfalls dort angebracht, wobei sie jeweiis unter Abstand von den CCD-Ka- 
meras 1 la und lib jeweils links bzw. rechts auBen von diesen Kameras 1 1 angebracht sind, um einen Gegenstand 
unter einer groBen Distanz zu erfassen. 

Um eine Distanz von der nachstmoglichen Position bis zu einer Position innerhalb von 100 m mittels des 
optischen Systems 10 zu messen, relent es aus, Positionen von 2 bis 100 m in Vorwartsrichtung.zu messen, wenn 35 
sich die CCD-Kameras 11 und 12 im Innenraum 2 m von einem vorderen Ende der Fahrzeug-Motorhaube 
eritfernt befinden. 

Wenn demgemaB die Kurz-Distanz-CCD -Kameras 11a und lib die Positionen innerhalb von 2 bis 20 m und 
die Lang-Distanz-Kameras 12a und 12b die Positionen innerhalb einer Distanz yon 10 bis 100 m abdecken, 
konnen die Kameras 11 und 12 den gesamten Bereich mit einer Zuverlassigkeitssicherheit abdecken, indem ein 40 
Uberlappungsbereich von 10 bis 20 m voraus sich ergeste lit wird. 

Das Distanzberechnungsverfahren durch den Bildprozessor 20 wird nun unter Bezugnahme auf die Kurzdist- 
anz-CCD-Kamera 11 als Beispiel erlautert. Die Distanzberechnung mit der Langdistanz-CCD-Kamera 12 ent- 
spricht der Verarbeitung fiir die Kamera 11. In der Fahrleitvorrichtung 2 gemaB der vorliegenden Erfindung 
wird die Kurz- Distanz- Kamera 1 1 zur Detektion von Konstruktionen benutzt, die sich gerade vor dem Fahrzeug 45 
befinden. . 

Eine Abbildung eines Punktes P wird auf einer Projektiohsebene unter einem Abstand von f von den 
Brennpunkten der jeweiligen Kameras aufgenommen, wobei der Punkt P sich von den Oberflachen der beiden 
Kameras 11a und lib unter einem Abstand D befindet Der Anbringungsabstand zwischen den beiden Kurz-Di- 
stanz-Kameras 11a und lib entspricht gemaB Darstellung in Fig. 5 r t und die jeweiligen Brennweiten der 50 
Kam eras 1 1 a und 1 lb betragen f. 

Betragt zu diesem Zeitpunkt ein Abweichungsbetrag gemaB Darstellung in der Zeichnung x, so wird "r,H- x" als 
die Distanz zwischen der Position des Bildes auf der rechten CCD- Kamera lib und der Position des Bildes auf 
der linken CCD-Karnera 11a gewonnen. Die Distanz D zum Punkt P kann dann durch die folgende Gleichung (1) 
aus dem Abweichungsbetrag x gewonnen werden: 55 

D =-r • f/x (1). 

Der Abweichungsbetrag x zwischen dem rechten und linken Bild kann auch nach der Ermittlung eines 
Koinzidenzabschnitts von Merkmalen wie Kanten, Linien und speziellen Formen detektiert werden. Um jedoch eo 
eine Verschlechterung der Datenmenge zu vermeiden, wird die jeweilige Distanzverteilung in jeder kleinen 
Region fur den gesamten Bildschirm durch den Bildprozessor 20 ermittelt, wobei das Bild in eine Vielzahl kleiner 
Regionen aufgeteilt wird, um denselben Gegenstand auf dem linken und rechten. Bild aufzusuchen, und entspre- 
chende kleine Regionen auf den linken und rechten Bildern herausgefuhden werden, indem ein Leuchtdichtemu- 
ster uhd Farbmuster innerhalb der kleinen Regionen verglichen werden, um Koinzidenzen festzustellen. es 

Eine Abschatzung einer Obereinstimmung bzw. eines Zusammenfallens von rechten und linken Bildern, d. h. 
eine stereoskopische Abstimmung, kann durch eine City-Block-Distanz H erfolgen, die beispielsweise durch die 
folgende Gleichung (2) reprasentiert wird, wenn die Leuchtdichte oder Helligkeit (es kann auch die Farbe 
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herangezogen werden) im i-ten Pixel im rechten und linken Bild jeweils Ai und Bi betragen: 
H ■= 2|Ai — Bi| (2). ' 

5 Die stereoskopische Anpassung durch die City-Block-Distanz H f Qhrt kerne Verschlechterung der Datenmen 
ge ein, hervorgerufen durch die Subtraktion eines Mittelwerts, und kann die Berechnungsgeschwindigkeit 
verbessern, da keine Multiplikation erfolgen muB. Jedoch beinhaltet das Anpassungsverfahren das Problem daB 
die detektierte Distanz unsicher ist, weil es mdglich ist, in derselben Region Gegenstande unter kurzer Distanz 
und groBer Distanz zu erfassen, wenn die GroBe der aufzuteilenden kleinen Region zu groB gemacht ist. 

to Andererseits ist zu beachten, daB bei Anstrebung von mdglichst kleinen Regionen zur Gewinnung der Distanz- 
verteuung des Bildes die Datenmenge zu klein sein kann, urn die Koinzidenz bei einer zu kleinen Region noch 
feststellen zu Uohd. Nimmt daher die Vorrichtung der vorliegeriden Erfindung ein Bild bezOglich des Fahr- 
zeugs auf. das 100 m vom Fahrzeug entfernt ist, wobei in derselben Region ein Fahrzeug, das auf einer 
angrenzenden Fahrspur fShrt, nicht eingeschlossen ist, so beinhalten die gewonnenen kleinen Regionen vier 

is Pixel gegenOber dem stereoskopischen optischen System 10, falls diese den Maximaiwert in Richtung der Breite 
darstellen. Als Ergebnis davon, daB die optimale Pixelanzahl im gegenwartigen Bild in Abhangigkeit vom 
werf™ gCWOnnen Wird> k6nnen j eweils vier Pixel fOr jede^imension als prakSkatl SngVnommen 

In der folgenden Beschreibung wird das Bild in kleine Regionen von 4 x 4 aufgeteilt, urn eine Koinzidenz von 

20 1 1 £ undTl ^b?eprasemim ^ stereosko P ische °P tisc ^ System 10 ist durch die CCD-Kameras 

2of l?nS nf^K-M tun Si dia ^ ni de « Bildprozessors 20 ist in Fig. 6 gezeigt Die Distanzdetektorschaltung 
20a und der Distanzbildspeicher 20b smd Bestandteil der Schaltung des Bildprozessors 10. Die Distanzdetektor- 
schaltung 20a umfaBt einen Bildumsetzer 30 zum Umsetzen eines Inalogen Bilds. das vom^ptisS 
25 pischen System 10 aufgenommen wird, in ein digitales Bild, eine City-Block-Distknzberechi,™ 

zur kontinuierhchen Berechnung der City-Block-Distanz H zum Ermitteln des AbweichungsbetFage^x Schen 
dem rechten und hnken Bild mittels einer Verschiebung der Pixelwerte Pixel urn PixereinenSSttnS 
K^L m nT ert w tek i° • 5 °r? Um Detektieren d « Minimumwerts Hmin und Maximumwerts H^ux furdie City- 
, n ?Kh "k ? e i1- P ,skre P anz betragsbestimmungseinrichtung 60 zum Ermitteln des D^epanzbetrags 

30 x durch Pruf en ob der Mmimumwert, der durch den Detektor 50 gewonnen wurde, die Koinzidenz zwischen df r 

s P e£her90 * Wieder S ibt oder Der Distanzbildspeicher 20b umfaBt eTnerT Sjort- 

kSOZ Bildprnsetzer 30 umfa Bt Analog/Digiul(A/D)- Wandler 31a bzw. 31b jeweils entsprechend fur die CCD- 
Kameras 1 la und lib fur das hnke und rechte Bild, wobei die Wandler jeweils mit Nachschlagetabellen 32a 32b 
35 (I D it te rrn e ?" V ° rhu ?**l sind ; £ raer sindBildspeicher 33a und 33b zur jeweiligen Speif herung der Bilder 
fur die CCD-Kameras 11a bzw. lib vorgesehen. Da die weiter unten erlSuterte City-Block-Distanz-Berech- 
,m3«K l S? 40 , w,ederh . o,t einen T f d * Bildes herausgreift und verarbeitet, konneii die Bildspeicher 33a 
herifgese^riind 56 ge " nge Speicher S eschwindi g k eiten aufweisen. wodurch die Herstelluhgskosten 

40 J£ er A/D -y and,e u r 31a " nd 3»b weist eine Auflesung von beispielsweise acht Bits auf und setzt das 
SSSft . 1 I 6 ' K Cht r en und ,u * en CCD-Kamera 11a bzw. lib in ein digitales Bild urn, das eine voroe! 
stimmte Leuchtdichteabstufung aufweist Mit anderen Worten setzt der Wandler das analoge Bild beisoieisweise 

un^^ntS V ° n :^5* n T" Um \ da ° aten fGr die Bere <*W d 'r Koinzidenz g zwischen dem Een 

«: .X^S^^^^^T 18 ^ ^ Cine Binarverar beitung des Bi,des bei hoher Verarbei - 

Ferner ist jede der Nachschlagetabellen LUT 32a und 32b im ROM ausgebildet, urn den Kontrast eines 
Abschnitts gennger Leuchtdichte im Bild. das durch die A/D-Wandler 31a und 31b auf digitale GrdBe umgesetzt 
worden ist, anzuheben, und urn Unterschiede in den Eigenschaften der Unken und rechten CCD-Kamera 11a 
bzw. l ib zu kompensieren. Das durch die LUTs 31a und 31b umgesetzte Signal wird einmal und gleichzeitig in 
so den Bildspeichern 33a bzw. 33b gespeichert 6 

In der City-Block-Distanzberechnungseinrichtung 40 sind Pufferspeicher 41a und 41b fOr die Eingabe uber 
einen gemeinsamen Bus 80 mit dem Bildspeicher 33a fur das linke Bild im Bildwandler 30 verbunden Ein 
weiteres Paar Pufferspeicher 42a und 42b ist uber einen gemeinsamen Bus 80 in entsprechender Weise mit dem 
Bildspeicher 33b fur das rechte Bild verbunden. 

55 Die Pufferspeicher 41a und 41b fur das linke Bild sind mit einem Paar Schieberegister 43a und 43b verbunden 
die jeweils einen achtstufigen Aufbau aufweisen, und das Paar Eingangspufferspeicher 42a und 42b fur das 
rechte Bild sind mit eiinem Paar Schieberegister 44a und 44b verbunden, die ebenfalls einen achtstufigen Aufbau 
aufweisen. D, e Schieberegisterpaare 43a, 43b und 44a, 44b sind mit einer City-Block-Distanzberechnungsschal- 
tung 45 zur Berechnung der City-Block-Distanz verbunden. 

60 Ferner sind die Schieberegister 44a und 44b fur das rechte Bild ein Paar Schieberegister 64a und 64b mit 
jeweils einem zehnstufigen Aufbau und sind in einer weiter unten eriauterten Abweichungsbetrag-Bestim- 
mungsemnchtung 60 angeordnet. Alte Daten nach Berechnung der City-Block-Distanz h werden in die Schiebe- 
register 64a und 64b geschoben, urn dort fur die Bestimmung des Abweichungsbetrages x zu dienen wenn der 
Datentransfer bezUglich der nachsten kleinen Region beginnt. 

65 Die City- Block- Distanzberechnungsschaltung 45 ist mit einem Hochgeschwindigkeits-CMOS-Rechner 46 
verbunden m dem Addierer, Subtrahierer und gekoppelte Eingangs/Ausgangs-Latchschaltungen auf einem 
Chip ausgebildet smd. Diese Schaltung nimmt augenblicklich die acht Pixelkomponenten auf und berechnet 
beispielsweise durch eine Pipeline-Struktur, in der 16 Rechnereinheiten nach Art einer Pyramide miteinander 
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verbunden sind, gemSB Fig. 7, die acht Pixelkomponenten. Die Pyramidenstruktur umfaBt eine erste Stufe als 
Absolutwertberechner, zwei bis vier Stufen als ersten, zweiten und dritten Addierer und eine Endstufe zur 
Bildung der Gesamtsumme durch Addition. Die Fig. 7 zeigt nur die halbe Struktur des Absolutwertberechners 
undder Addierer der ersten und zweiten Stufe. 

Die Eingangspufferspeicher 41a, 41b f 42a und 42b weisen jeweils eine vergleichsweise geringe KapazitSt auf 
und sind entsprechend der Geschwindigkeit fUr die City-Block-Distanzberechnung schnelle Speicher. Sie haben 
jeweils einen unterteiken Eingang und Ausgang zum gemeinsamen Empfangen einer Adresse, die von einer 
Nr. 1-Adressensteuereinrichtung 86 gemaB einem Takt erzeugt wird, der von einer Taktgeneratorschaltung 85 
zugefuhrt wird. Eine Nr. 2- Adressensteuereinrichtung 87 steuert den Datentransfer zwischen dem Paar Schiebe- 
register 43a, 43b, 44a und 44b. 

Der Minimum- und Maximumwertdetektor 50 umfaBt eine Minimumwertdetektorschaltung 51 zum Detektie- 
ren des Minimumwerts Hmin der City- B lock- Distanz h und eine Maximumwertdetektorschaltung 52 zum 
Detektieren eines Maximumwerts Hmax der City-Block-Distanz H und weist einen Aufbau mit zwei Hochge- 
sen windigkeits-CMOS- Rechner n zur jeweiligen Bestimmung des Minimum- und Maximumwertes mitderselben 
Auslegung wie der City- Block- Distanz berechnungsschaltung 45 auf, urn so eine Synchronisation mit der Ausga- 
be der City-Block-Distanz H auf rechtzuerhalten. 

Wie in Fig. 8 gezeigt, umfaBt die Minimumwert-Detektorschaltung 51 im Detail einen Rechner 46 mit einem 
A-Register 46a, einem B-Register 46b und einer arithmetischen logischen Einheit (ALU) 46c, einer C-Latch- 
Schaltuhg 53, einer Latch-Schaltung 54 und einer D-Latch-Schaltung, die mit dem Rechner 46 verbunden sind. 
Das Ausgangssignal der City-Block- Distanz-Berechnungsschaltung 45 wird dem A-Register 46a und dem B-Re- 
gister 46b uber die C- Latch-Schaltung 53 zugefuhrt, und das hochstwertige Bit (MSB) im Ausgangssignal der 
ALU 46 wird an die Latch-Schaltung 54 ausgegeben, Ein Ausgangssignal der Latchschaltung 54 wird dem 
B-Register 46b und der D-Latchschaltung 55 zugefuhrt. Das B-Register 46b speichert einen Zwischenwert der 
Minimumwertberechnung im Rechner 46. Die D-Latchschaltung 55 speichert den Diskrepanzbetrag oder Ab- 
weichungsbetrag 6 der Minimumwertberechnung. Die Maximumwert-Detektorschalturig 52 weist denselben 
Aufbau wie die Minimumwert-Detektorschaltung 51 auf mit Ausnahme einer entgegengesetzten Logik und 
Nichtspeicherung des Abweichungsbetrages 5. 

Wie zuvor erlautert, wird die City-Block-Distanz H Schritt um Schritt mit der Verschiebung der Pixel Pixel urn 
Pixel von der kleinen Region des linken Bildes gegentiber einer kleinen Region im rechten Bild berechnet. 
DemgemaB konnen der Maximumwert und Minimumwert Hmax und Hmin der City-Block-Distanz H in der 
kleinen Region durch Vergleich und Erneuerung des vorhergehenden Maximum- und Minimumwerts Hmax und 
Hmin fur jedes Ausgangssignal eines Werts der City-Block-Distanz H gewonnen werden, und es wird gleichzei- 
tig eine Ausgabe der letzten City-Block-Distanz H gewonnen. 

Die Diskrepanzbetrag-Bestimmungseinrichtung 60 is t als sbgenannter RISK-Prozessor mit relativ geringem 
Umfang aufgebaut. Die Bestimmungseinrichtung 60 umfaBt einen Rechner 61 als Hauptteil, einen 16-Bit-Daten- 
bus 62a und 62b, eine Latchschaltung 63a zum Halten des Abweichungsbetrages x, eine Latchschaltung 63b zum 
Halten eines Schwellwerts Ha als ersten Bezugswert, eine Latchschaltung 63c zum Halten eines Schwellwerts 
Hb als zweiten Bezugswert, eine Latchschaltung 63d zum Halten eines Schwellwerts He als dritten Bezugswert, 
eine Schaltstufe 65 zur Ausgabe des Abweichungsbetrages x oder eines Ausgangssignals "0" nach Empfang des 
Ausgangssignals vom Rechner 61, Ausgangspufferspeicher 66a und 66b zur zeitweisen Speicherung eines 
Ausgangssignals der Schaltstufe 65 und einen ROM 67 von 16 Bit Breite zur Speicherung eines Steuerpro- 
gramms uber die Betriebszeitsteuerung der Schaltung und der Funktion des Rechners 61. 

Der Rechner 61 umfaBt eine ALU 70 als Hauptteil, ein A-Register 71, ein B-Register 72 und ein F- Register 73 
sowie einen Selektierer 74. Das A-Register 71 ist mit dem Datenbus 62a (im folgenden als A-Bus 62a bezeichnet) 
verbunden, und das B-Register 72 ist mit dem Datenbus 62b (im folgenden als B-Bus 62b bezeichnet) verbunden, 
wodurch die Schaltstufe 65 in Abhangigkeit vom Berechnungsergebnis der ALU 70 aktiviert wird und der 
Abweichungsbetrag x oder das Ausgangssignal "0" in den Ausgangspufferspeichern 66a und 66b gespeichert 
werden. 

Der A-Bus 62a ist mit der Maximumwert-Detektorschaltung 52, den Latchschaftungen . 63b, 63c und 63d 
verbunden, die jeweils die Schwellwerte Ha, Hb bzw. He halten, und der B-Bus 62b ist mit der Minimumwert- 
Detektorschaltung 51 verbunden. Der A-Bus 62a und der B-Bus 62b sind jeweils mit den zugehorigen Schiebere- 
gistern 64a bzw. 64b verbunden. 

Die Schaltstufe 65 ist mit dem Rechner 61 und der Minimumwert-Detektorschaltung 51 uber die Latchschal- 
tung 63a' verbunden. Der Rechner 61 bestimmt drei Prufzustande, die weiter unten erlautert sind, um ein 
bestimmtes Ergebnis zur Anderung der Ausgangssignale fur die Ausgangspufferspeicher 66a und 66b auszuge- 
ben. . 

Die Abweichungsbetragbestimmungseinrichtung 60 priift, ob der gewonnene Minimumwert Hmin der City- 
Block-Distanz tatsachlich die Koinzidenz zwischen der linken kleinen Region und der rechten kleinen Region 
darstellt oder nicht. Die Bestimmungseinrichtung 60 gibt den Abweichungsbetrag x der Pixel entsprechend den 
Pufferspeichern 66a und 66b nur aus, wenn diese Bedingung erfullt ist. 

Dementsprechend ist der Abweichungsbetrag der Abweichungsbetrag x, der zu erhalten ist, wenn die City- 
Blopk-Distanz H der Minimumwert Hmin ist. Der Abweichungsbetrag x wird ausgegeben, wenn drei Prufbedin- 
gungen, die weiter unten ausgefuhrt sind, erfullt sind, und "0" wird ausgegeben, ohne die Daten zu ubernehmen, 
wenn diese Bedingungen nicht erfullt sind: 

(1) Hmin ^ Ha (Die Distanz kann nicht gewonnen werden, wenn Hmin > Ha). 

(2) Hmax— Hmin ^ Hb (Dies ist die Bedingung zum Priifen, daB der gewonnene Minimumwert Hmin deutlich 
durch Rauschflimmern niedrig ist, und der Prufgegenstand ist der Unterschied zwischen dem Minimumwert 
Hmin und dem Maximumwert Hmax ohne die Differenz zwischen dem Minimumwert Hmin und dem nachstge- 
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legenen Wert hiervon, wodurch die Distanz gegenuber einem Gegenstand wie einer gekrQmmten Oberflache 
und dergJeichen erfaBt wird f die die Leuchtdichte langsam andert, wobei sich die Werte aus dem Rauschen 
herausheben). 

(3) Die Leuchtdichtedifferenz oder Helligkeitsdifferenz zwischen benachbarten Pixeln in horizontaler Rich- 
tung in der kleinen Region des rechten Bildes > He (obgleich die Detektion eine Kantendetektion ist, wenn der 
Schwellwert He groB wird, wird der Schwellwert He auf einen geringeren Wert als den gewShnlichen Kanten- 
detektionspegel gesetzt, weil es so mogiich ist, dem Fall zu entsprechen, bei dem sich die Leuchtdichte langsam 
andert Diese Bedingung basiert auf dem fundamentalen Prinzip, in dem die Distanz in einem Teil ohne 
Leuchtdichteanderung nicht detektierbar ist Da die Detektion im Teil fur jedes Pixel in der kleinen Region 
ausgeftthrt wird, werden nur Pixel aufgegriffen, deren aktuelle Distanz in der kleinen Region detektiert worden 
ist, wodurch ein naturliches Ergebnis gewonnen wird). 

Die Distanzverteilungsdaten, die als endgiiltiges Ergebnis aus der Abweichungsbetrag-Bestimmungseinrich- 
tung 60 ausgegeben werden, werden in einen Dualportspeicher 90 als Distarizbildspeicher 20b uber einen 
gemeinsamen Bus 80 ausgegeben. 

Die Distanzverteilungsdaten vom Bildprozessor 20 liegen in Form eines Bildes (Distanzbildes) vor wobei 
dieses Bild beispielsweise durch die CCD-Kamera 11 gemaB Darstellung in Fig. 9 abgebildet wird. Das Bild zur 
Darstellung des jeweihgen Zustandes beispielsweise bedingt diirch parkende Autos 200 und 300 sowie eine 
Leitplanke 400 (gemaB der Abbildung, die durch eine Kamera in Fig. 9 aufgenommen ist) wird vom Bildprozes- 
sor 20 zur Erzeugung des in Fig. 1 0 gezeigten Bildes verarbeite t. 

In einem Beispiel des in Fig. 10 gezeigten Distanzbildes umfaBt das Bild eine GroBe von 400mal 200 Pixel in 
den beiden Dimensioned wobei Distanzdaten in einem schwarzen Abschnitt liegen, in dem eine Helligkeitsande- 
rung zwischen zwei aneinandergrenzenden Pixeln in reenter und linker Richtung grSBer als innerhalb jeweiliger 
Pixel im in Fig. 9 gezeigten Bild ist Die Koordinatenachsen im Bild sind so gelegt, daB die i-Koordinatenachse in 
horizontaler Riphtung ihren Ursprung in der oberen iinken Ecke auf weist, die vertikale Achse eine j-Koordinate- 
nachse ist und als Einheit Pixel ge wahlt ist, wie in Fig. 10 dargestell t ist. 

Das Distanzbild wird in den Distanzbildverarbeitungscomputer 120 gelesen, urn mehrere Gegenstande wie 
andere Fahrzeuge und Hmdernisse, die vor dem Fahrzeug vorhanden sind, zu detektieren, urn so eine Position 
und die GroBe der Gegenstande zu berechnen und hierdurch ein UmriBbild der detektierten Gegenstande zu 
extrahieren. Ferner ist es mdglich, eine korrelative Geschwindigkeit der Gegenstande, die durch eine Zeitverzd- 
gerung der jeweihgen Position verursacht wird, zu berechnen. 

!Tr«i!! e ™ F ?i verw ^ n ^ et de 5 Distanzbildverarbeitungscomputer 120 dreidimensionale Gegenstandsdaten 
und fuhrt eine Unterscheidung der StraBe und des Hintergrundes in Abhangigkeit von der H6he der erfaflten 
^ ens ^ de von d ? r StraBenoberflache aus sowie eine Unterscheidung des Objekts vom Hintergrund in 
Abhangigkeit vpn einem Distanzwert Daher andert der Distanzbildverarbeitungscomputer 120 zuerst die 
Koordinatenachsen des Distanzbildes vom Bildprozessor 20 und setzt sie in die Koordinatenachsen des tatsach- 
Komtruk^ Fahrzeu g t 1 um » und berechnet die Position und GrdBe entsprechend der detektierten 

Werden folghch, wje in den Fig. 11 und 12 gezeigt, die Koordinatenachsen des tatsachiichen Raums auf die 
Koordinatenachsen des Fahrzeugs 1 festgelegt, in denen eine X-Achse die rechte Seite des Fahrzeugs 1 
kennzeichnet, eine Y- Achse uber dem Fahrzeug liegt und eine Z-Achse der Vorwartsrichtung des Fahrzeugs 1 
entspncht, so entspricht ein Ursprungspunkt der StraBenoberflache in der Mitte und unmittelbar unter den 
beiden CCD-Kameras 11a (12a) und lib (12b), die X-Z-Ebene (Y=0) fallt mit der StraBenoberflache fur den 
Fall zusammen daB die StraBe flach ist, und die dreidimensionale Position des Gegenstandes kann entsprechend 
der folgenden Gleichungen (3) und (4) in Abhangigkeit von den Distanzdaten (i, j, Z) im Bild durch die folgende 
Art von Koordmatenumsetzung gewonnen werden: 

Y*CH-Z x PW x(j-JV) (3), 

X = r/2 + ZxPWx(MV) (4), 

wobei 

CH : Befestigungshohe der CCD-Kamera 11 (12), * 
PW: Sichtwinkel pro einem Pbcel, 

JV, IV: eine Koordinate auf dem Bild von einem unendlich weiten Punkt unmittelbar vor dem Fahrzeug 1. 

Ferner konnen die Gleichungen (3) und (4) in die folgenden Gleichungen (5) und (6) geandert werden urn die 
Position (i, j) auf dem Bild in Abhangigkeit von den dreidimensionalen Achsen (X, Y, Z) des tatsachiichen Raums 
zu berechnen: 

j~(CH-Y)/(Z x PW) + JV (5) 
i-=(X-r/2)/(Z x PW) + IV (6). 

Falls die Befestigungsposition der CCD-Kamera 1 1 in den XYZ-Koordinatenachsen des tatsachiichen Raums 
gezeigt wird, betragen beispielsweise die Werte fur die rechte Kamera lib X«0,20 (m). Y= 1 24 (m) und Z = 00 
(m) und fur die linke Kamera X = - 0,20 (m), Y « 1 ,24 (m) und Z - 0,0 (m). 

Fig. 13 zeigt die funktionelle Auslegung des Distanzbildberechnungscomputers 120, der hauptsachlich eine 
Gegenstandserkennungseinrichtung 130 fur den Mikroprozessor 120a umfaBt, einen Seitenwanddetektor 140 
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flin den Mikroprozessor 120b und einen Zwischenraumdistanzrechner 160 fiir den Mikroprozessor 120a Das 
Verarbeitungsergebnis der Gegenstanderkennungseinrichtung 130 und des Seitenwanddetektors 140 wird in 
einem Konstruktionsparameter-Speicherabschnitt 150 gespeichert, der einen Ausgangsspeicher 125 umfafit, und 
wird in eine nicht dargestellte weitere Einrichtung des Mikroprozessors 120c (Zwischenraumdistanzrechner 160) 
und das ADA-System gelesen. 

Ferner ist die Funktion der Gegenstandserkennungseinrichtung 130 in einen Objektdetektor oder Gegen- 
standsdetektor 131, eine Erzeugungseinrichtung fur ein dreidimensionales Fenster 132 und eine Gegenstands- 
konturextraktionseinrichtung 133 aufgeteilt Die Gegenstandserkennungseinrichtung 131 teilt das Distanzbild 
aus dem Bildprozessor 20 in einem vorbestimmten Intervall (beispielsweise Intervallen von 8 bis 20 Pixeln) in 
Streifenform auf, wobei er nur Aufbaudaten selektiert, die eine Gefahr als Hindernis fiir die Weiterfahrt 
darsteilen, und berechnet die detektierte Distanz. 

Fig. 14 ist eine erlSuternde Ansicht fiir das Festlegen einer streifenformigen Region auf dem hellen Bild, das 
als die Ansicht des Fahrzeugs 1 nach vprn aufgenommen ist. Das Distanzbild gemaB Fig. 10 wird gemaB 
Darstellung in Fig. 14 aufgeteilt Im Ausfuhrungsbeispiel wird das Bild in 30 sehr kleine Regionen ARi bis AR33 
mit 12^Pixelintervallen aufgeteilt. Da der Gegenstand durch Unterteilung des Bildes in eine Vielzahl von 
Regionen aufgesucht wird, ist es folglich moglich, eine Mehrzahl von Gegenstanden verzdgerungsfrei zu 
detektieren. 

Fur den Gegenstand in jeder Region wird die dreidimensionale Position (X, Y, Z) des tatsachlichen Raums aus 
den Koordinaten (i, j) auf dem Bild berechnet sowie ferner die Distanzdaten Z unter Verwendung der obigen 
Gleichungen (3) und (4). DarQber hinaus kann die H6he H des Objekts bei der Distanz Z von der StraBenoberfia- 
che durch die folgende Gleichung (7) berechnet werden, wenn die Hohe der StraBenoberflache Yr betragt: 

H — Y— Yr (7). 

Da die Koordinatenachsen gemaB Darstellung in den Fig. 11 und 12 festgelegt sind, kann Yr auf Yr = 0,0 (m) 
gesetzt werden, es sei denn, es liegen eine spezielle Neigung und ein vertikaler StoB bzw. eine vertikale 
Erschutterung auf dem Fahrzeug 1 vor. Da ein Gegenstand mit einer unter 0,1 (m) liegenden Hohe H wie weiBe 
Linien, Steine oder Schatten auf der StraBe das Fahrzeug, das auf der StraBe fahrt, nicht behindern, werden die 
Daten dieser Gegenstande verworfen. Ein uber der Hohe des Fahrzeugs liegender Gegenstand wird als FuBgan- 
geriiberweg oder Oberfiihrung und StraBenschild angenommen, die aufier acht zu lassen sind, und die Vorrich- 
tung selektiert nur Daten mit einem Aufbau, der Hindernisse auf der StraBe darstellt. Falls daher der Gegenstand 
auf der StraBe auf dem zweidimensionalen Bild uberlappt, kann die Vorrichtung die Detektion nach einer 
Unterscheidung der Daten entsprechend der Hohe liber der StraBenoberflache durchfiihren und den Gegen- 
stand eindeutig erfassen. 

Darauffolgend zahlt bezuglich der Konstruktions- oder Aufbaudaten, die entsprechend oben dargelegtem 
Schema extrahiert worden sind, die Vorrichtung die Anzahl von Daten, die in einem vorbestimmten Abschnitt 
der Distanz C enthalten sind, und erstellt ein Histogramm unter Verwendung der Distanz Z als horizontaler 
Achse. In Fig. 15 ist ein Histogramm des parkenden Autos 300 als detektierter Gegenstand auf der rechten Seite 
vor. dem Fahrzeug im Bildbeispiel, und eine Anzahl und Lange des Abschnitts der Distanz Z werden unter 
Berucksichtigung einer Detektionsgrenze und der Prazision der Distanz Z sowie Form der Konstruktion wie 
einem detektierten Gegenstand ermittelt. 

Wenn ein fehlerhaft detektierter Wert oder falschlicherweise detektierter Wert in den Distanzdaten im 
Eingangsdistanzbiid vorhanden ist, erscheinen im Histogramm wenige Daten an einer Position, bei der tatsach- 
lich kein Gegenstand vorliegt. Fur den Fall jedoch, daB ein Gegenstand mit einer vorbestimmten GroBe 
vorhanden ist, zeigt die Haufigkeit dieser Position einen groBen Wert. Demgegenuber wird fur den Fall, daB kein 
Gegenstand vorhanden ist, die von den fehlerhaften Distanzdaten erzeugte Haufigkeit einen geringeh Wert 
annehmen. 

Falls demgemaB ein Abschnitt vorliegt, in dem die Haufigkeit im erzeugten Histogramm uber einem bestimm- 
teh Beurteiliingswert liegt und einen Maximalwert annimmt, so ist im beurteilten Abschnitt ein Gegenstand 
vorhanden. Liegt hingegen der Maximalwert der Haufigkeit unter dem Beurteilungswert, so liegt in diesem 
Abschnitt kein Gegenstand vor. Durch diese MaBnahme bleibt, selbst wenn in den Bilddaten gewisse geringe 
Rauscheinflusse enthalten sind, der RauscheinfluB innerhalb der minimalen Grenze fur die Detektion des 
Gegenstandes. 

Kommt die Beurteilung zu dem SchluB, daB ein Gegenstand existiert, so wird ein Mittelwert der Distanzdaten 
Z des Aufbaus oder der Konstruktion, die im detektierten Abschnitt und in Abschnitten vor und nach dem 
detektierten Abschnitt enthalten ist, berechnet, um als Distanz zum Gegenstand behandelt zu werden. Nachdem 
eine Distanzdetektion ti des Gegenstandes in den vollstandigen Regionen verarbeitet worden ist, untersucht die 
Vorrichtung die detektierte Distanz des Gegenstandes in jeder Region und uneilt, daB der Gegenstand stets 
derseibe ist, wenn die Differenz der Detektionsdistanz zum Gegenstand in angrenzenden Regionen geringer als 
ein vorab festgelegter Wert ausfaiit. Ist hingegen die Differenz groBer als der festgelegte Wert, so urteilt die 
Vorrichtung, daB die Gegenstande voneinander verschieden sind. 

im Detail wird eine linke Endbereichsregion ARi untersucht. Wenn der Gegenstand detektiert ist, wird diese. 
auf den Gegenstand Sr und die Distanz Zi gesetzt. Daraufhin wird die nachst angrenzende rechte Region AR 2 
untersucht Wenn kein Gegenstand detektiert wird, existiert der Gegenstand Sj innerhalb und um die Region 
ARj, und die Distanz wird als Z| beurteilt, um so den Gegenstand zu detektieren. Wenn die detektierte Distanz 
Z2 betragt, wird die Differenz zwischen den Distanzen Zi und Z2 untersucht. 

Liegt die Differenz zwischen den Distanzen Zi und Z2 uber dem festgesetzten Wert, wird geschlossen, daB das 
in der Region AR 2 detektierte Objekt .sich vom zuvor detektierten Gegenstand Si unterscheidet und es sich um 
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ein neues Objekt S 2 und eine neue Distanz Z 2 handelt Dann untersucht die Vorrichtung weitere rechts benach- 
barte Regionen. 

1st andererseits die Differenz zwischen den Distanzen Z| und Z 2 geringer als der festgelegte Wert, so wird 
geschlossen, daB das in der Region AR 2 detektierte Objekt der zuvor detektierte Gegenstand Si ist und daB die 
Distanz ein Mittelwert von Z, und Z 2 ist. Dann werden weitere rechts gelegene Regionen nacheinander 
untersucht, und die Distanz und vorhandene Regionen werden erneuert, wenn das Objekt Si sich dahingehend 
erweist, daB es fortgesetzt vorhanden ist 

Es war Ublicherweise schwierig, nur die Objektdaten zu extrahieren, wenn auf dem zweidimensionalen Bild 
eine Hintergrunddistanz um das Objekt abgebildet war. Da jedoch die oben erwahnte Verarbeitung von der 
Region ARi am linken Ende zur Region AR33 am rechten Ende erfolgt, um die Daten durch Distanzwerte zu 
sortieren, ist es mdglich, durch Unterteilen einer Mehrzahl von Abschnitten des Gegenstands und des Hinter- 
grunds mit Bezug auf die Distanz und die das Vorhandensein anzeigenden Regionen eine Detektion durchzufiih- 
ren, wodurch es mdglich ist, mehrere einander auf der zweidimensionalen Darstellung Qberlagernde Gegenstan- 
de durch deren Aufteilung in AbhSngigkeit von den Distanzen jedes Gegenstandes zu detektieren und voneinan- 
der zu unterscheiden. 

Experimented Ergebnisse zeigten; daB der festgesetzte Wert vorzugsweise 4 bis 6 m fur die Detektion des 
Fahrzeugs und 1 bis 2 m fiir die Detektion von FuBgangern ist 

Fig. 16 zeigt einen mit einer Linie umrissenen Block, der eine Region anzeigt, in der gemaB obiger Detektion 
sich ein Gegenstand befindet In diesem AusfQhrungsbeispiel sind zwei Gegenstande, nsimiich ein Fahrzeug 200 
auf der linken Seite und ein Fahrzeug 300 auf der rechten Seite detektiert worden. Ein numerischer Wert auf der 
Unterseite der Figur entspricht der Detektionsdistanz jedes Gegenstandes. 

Die Erzeugungseinrichtung 132 fOr das dreidimensionale Fenster setzt eine Region fur einen dreidimensiona- 
len Raum in Form einer rechtwinkligen Raumform fest, namlich ein dreidimensionales Fenster WD 3 das den 
detektierten Gegenstand (das parkende Fahrzeug 300) im dreidimensionalen Raum enthait, wie in Fig 17 
gezeigt ist, und zwar bezuglich jedes der durch den Gegenstandsdetektor 131 detektierten Gegenstande und 
berechnet wie das festgelegte dreidimensionale Fenster WD 3 auf dem zweidimensionalen Bild zu zeigen oder 
darzustellen ist, um so den detektierten Gegenstand nur bezuglich Daten innerhalb einer Fensterkonturlinie wie 
dem zweidimensionalen Fenster WD 2 festzulegen. 

Die horizontal Breite des dreidimensionalen Fensters WD 3 liegt innerhalb eines Bereiches, der sich in eine 
jede Region auf der linken und rechten Seite der Regionen erstreckt, in denen der Gegenstand vorliegt Daher 
werden andere Gegenstande nicht detektiert, wenn die rechten und linken Enden der Gegenstande sich auf 
irgendwelchen Regionen uberlappen. In diesem Fall wird der zu detektierende Gegenstand nicht als vorhanden 
detektiert, da der Gegenstand auf dem Histogramm keinen grc-Ben Wert hervdrrufen kann, und es wird der 
andere Gegenstand detektiert. Daher sbllte der Fensterbereich stets so ausgewahlt und ausgedehnt werden daB 
ein solcher Zustand vermieden ist 

Die L&nge in der Distanzrichtung Z des dreidimensionalen Fensters WD 3 liegt innerhalb eines Bereiches der 
die detektierte Distanz des Objekts umfaBt und eine Sektionslange des Histogramms, zu der Abschnitte vor'und 
hmter der detektierten Distanz addiert sind. Das untere Ende des dreidimensionalen Fensters WD 3 liegt bei 
einer Position, die sich durch Addition von 0,1 m zur Hohe der StraBenoberflache ergibt, und das obere Ende fallt 
mit den oberen Enden jeder der aufgeteilten Regionen fiir die Detektion des Gegenstandes ziisammen. 
_ Zum Zwecke der Gewinnung des zweidimensionalen Fensters WD 2 in Abhangigkeit vom dreidimensionalen 
Fenster WD 3 wird zunachst die Koordinate (in, jn) auf dem Bild durch die obige Gleichurig (5) und Gleichung (6) 
abhangig von jeder Koordinate (Xn, Yn, Zn) von acht Oberseiten des dreidimensionalen Fensters WD 3 berech- 
net, und es wird ein acht Oberseiten einhullendes Polygon berechnet Fig. 18 zeigt ein Beispiel fur das das 
zweidimensionale Fenster WD 2 fur einen (das parkende Auto 300) der detektierten Gegenstande, der in Fig. 16 
dargestellt ist, gesetzt worden ist 

Die Gegenstandskonturextraktionseinrichtung 133 begutachtet jede einzelne Date im zweidimensionalen 
Fenster WD 2 , selektiert nur Daten, die im dreidimensionalen Fenster WD 3 enthaiten sind, extrahiert ein Kontur- 
bild des detektierten Gegenstandes und detektiert eine positionelle Beziehung zwischen dem detektierten 
Gegenstand und der eigentlichen Fahrzeugkarosserie des in Frage stehenden Fahrzeugs. 

Folglich begutachtet die Extraktionseinheit 133 eine um die andere Date in den zweidimensionalen Fenstern 
WD 2 fur jederi Gegenstand, berechnet die dreidimensionale Position (X, Y, Z) durch die obigen Gleichungen (3) 
und (4) bezuglich von Pixeln, die Distanzdaten umfassen, extrahiert nur Daten, deren Distanz- und Hdhewerte in 
einem Bereich des dreidimensionalen Fensters WD 3 eingeschlossen sind, und verwirft die iibrigen Daten. 

Fig. 19 zeigt die extrahierten Daten in der Weise, daB sie auf das zweidimensionale Fenster projiziert sind. 
Ferner wird ein Konturbild des Objekts durch Verbinden eines Umrisses der Daten durch Linien gemaB 
Darstellung in Fig. 20 gewonnen. Eine Koordinate (i, j) auf den Bildern am linken und rechten Ende und dem 
oberen Ende des Konturbildes wird detektiert um Positionen des linken und rechten Endes und oberen Endes im 
dreidimensionalen Raum zu berechnen, indem die Detektionsdistanz Z des Objekts und die oben erwahnten 
Gleichungen (3) und (4) verwendet werden, Als Ergebnis kann die Breite des Gegenstandes durch die Positionen 
vom linken und rechten Ende gewonnen werden, und die Hohe des Objekts kann aus der Lage des.oberen Endes 
gewonnen werden. In Fig. 20 ist es mdglich, zu ermitteln, daB der Gegenstand eine Breite von 1,7 m und eine 
H6he von 1 ,3 m aufweist. 

Ferner ist die Funktion des Seitenwanddetektors 140 durch den Mikroprozessor 120b weiter in eine Kon- 
struktionsdatenextraktionseinrichtung 141, einen Seitenwand-Geradliniendetektor 142 und einen Seitenwand- 
bereichsdetektor 143 unterieilt, in dem eine Unterscheidung der Seitenwand von der StraBe durch die Hdhe von 
der StraBenoberflache unterschieden wird, und die Unterscheidung der Seitenwand vom entfernten Hinter- 
grund wird durch die Distanz vor und hinter demVahrzeug und die benachbarte Distanz durchgefuhrt. Folglich 
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extrahiert der Detektor 140 nur Daten urn die Seitenwand herum, die als vorhanden vorausgesetzt wird, und die 
extrahierten Seitenwariddaten werden durch die Hough-Transformation im Hinblick auf die Charakteristiken 
detektiert, die entlang der geraden Linie in der horizon talen Richtung angeordnet sind, urn die Position der 
Konstruktion zu gewinnen. 

Folglich extrahiert die Konstruktionsdatenextraktionseinrichtung 141 nur die Daten uber der vorbestimmten 
StraBenoberflSche, die vorab festgelegt wurde, aus den Distanzverteilungsdaten, und der Seitenwandgeradli- 
nieridetektor 142 extrahiert nur die Daten innerhalb einer zuvor festgelegten Seitenwandsuchregion, und die 
extrahierten Daten werden durch die Hough-Transformation verarbeitet, wodurch erne lineare Gleichung 
detektiert wird» die das Yorhandensein oder Fehlen der Seitenwand und die Position der Seitenwand anzeigt. 
Der Seitenwandbereichsdetektor 143 setzt eine abgesch&tzte Seitenwandregion fest, in der die Seitenwand als 
vorhanden angenommen wird, auf der Grundlage der geraden Linie, die die Position der Seitenwand anzeigt, 
und detektiert die Position von Enden vor und hinter der Seitenwand in Abhangigkeit vom Verteilungszustand 
der Koristruktionsdaten in der abgesch&tzten Seitenwandregion. 

Da die Seitenwand ein Teil der Konstruktion ist, extrahiert die Konstruktionsdatenextraktionseinrichtung 141 
im Detail die Daten der Konstruktion liber der StraBenoberfltche aus den Distanzbildern. Da die eine Hdhe 
unter 0,1 m aufweisende Konstruktionen als weiBe Linie, Stein oder Schatten auf der StraBe behandelt werden, 
werden zu diesem Zeitpunkt derartige Daten verworfen. Da die Konstruktionen mit einer Hohe oberhalb des 
Fahrzeugdachs als FuBgangeruberfiihrung und Verkehrszeichen oder Verkehrsschild identifiziert werden, wer- 
den auch diese Daten verworfen. Folglich extrahiert die Extraktionseinrichtung nur die Daten der jeweiligen 
Konstruktion auf der StraBe. 

Obgleich die Konstruktionsdaten-Extraktionseinrichtung 141 die Daten der Konstruktion mit einem weiten 
auf dem Bildschirm abgebildeten Bereich extrahiert, wird im Seitenwand-Geradliniendetektor 142 eine Grenze 
fiir den Seitenwandsuchbereich gesetzt, da eine Verarbeitung Qber den gesamten Datenumfang im Seitenbe- 
reich nicht vernunftig ist 

Oberblickt man den Bereich, in dem das Bild aufgenommen wird, ist das Sichtfeld der CCD-Kamera 1 1 auf die 
in Fig. 21 dargestellte Vogelschauperspektive beschrankt Fahrt das Fahrzeug normal auf der StraBe, so liegen 
Seitenwande auf der linken und rechten Seite des Fahrzeugs 1 im wesentlichen entlang des Fahrzeugs vor. 
Andererseits ist eine Seitenwand in groBem Abstand schwierig zu detektieren, und zwar hinsichtlich der 
Prazision der Distanzdaten, und beinhaltet auch nur eine geringe Notwendigkeit der Detektion. Folglich werden 
im Hinblick auf diese Bedingungen zwei Suchbereiche SL und SR auf der linken und rechten Seite festgelegt, und 
es werden speziell die Seitenwande auf der rechten Seite und linken Seite detektiert. 

Mit anderen Worten setzt zur Detektion der Seitenwande auf der linken und rechten Seite der Seitenwand- 
Geradliniendetektor 142 zunachst den Suchbereich auf der linken Seite fest, um die Seitenwand-Geradlinienex- 
traktionsverarbeitung und die Seitenwanddetektionsverarbeitung so durchzufiihren, daB die linke Seitenwand 
erf aBt wird, und dann setzt der Detektor 142 wieder den Suchbereich auf der rechten Seite fest, um die 
obengenannten Verarbeitungsvorgange zur Detektion der rechten Seitenwand auszufiihren. 

Um die Konstruktionsdaten, die in den Suchbereichen SL und SR enthalten sind, zu extrahieren, wird die 
dreidimensionale Position (X- und 2-Koordinaten) des Objekts jeder durch die Konstruktionsdatenextraktions- 
einrichtung 141 extrahierten Date berechnet, um die dreidimensionale Position (X, Z) und jeden der Suchberei- 
che SR und SL zu vergleichen undzu beurteilen. 

Beispielsweise kann im in Fig. 22 gezeigten Zustand jeder der Suchbereiche SR und SL durch eine gepunktete 
Linie auf dem Bild dargestellt werden, wobei hier verschiedene Konstruktionen im Suchbereich zusatziich zur 
Seitenwand als Gegenstand yorliegen. Da ferner noch Pseudodaten einschlieBlich Rauschen im Distanzbild 
enthalten sind, liegen nur verteilte Daten in dem Raum vor, in dem tatsachlich kein Gegenstand vorliegt. In 
Fig. 23, die diese Daten als Modell zeigt, weist die Seitenwand die Charakteristik auf, bei der die Daten auf einer . 
geraden Linie angeordnet sind. Entsprechehd wird die Seitenwand detektiert, indem die lineare Gleichung des 
Datenzuges unter Verwendung einer Hough Transformation berechnet wird. 

Hier wird eine Detektion der linearen Gleichung durch Hough Transformation beschrieben. Es wird voraus- 
gesetzt, daB eine gerade Linie Fi sich durch Konstruktionsdaten im Punkt Pi erstreckt (Koordinate Xi, Zj), wie in 
Fig. 24 gezeigt ist. Die lineare Gleichung ergibt sich.dann folgendermaBen: . 

X = afi x Z + bfi (8). \ 

. Darauffolgend wird, wie in Fig. 25 gezeigt ist, ein Parameterraum mit einer Neigung afi der Gleichung (8) als 
vertikale Achse gesetzt und einem Bruchstuck bfi (Achsenabschnitt) als horizontale Achse. Ferner erfolgt eine 
Abstimmung oder Auswahl an der Position entsprechend den Parametern afi und bfi in der Gleichung nach Art 
einer Votierung. 

Eine Variationsbreite der Neigung afi im Bereich von ±20°. (afi: ±0,36) ist praktisch ausreichend, da die 
Seitenwand als im wesentlichen parallel zum Fahrzeug 1 betrachtet wird. Ein Wert fur das Bruchstuck bfi ist auf 
den Bereich X = — 1 bis —10 m beschrankt, als linke Seite des Fahrzeugs.. wenn die linke Seitenwand detektiert 
wird, und auf einen Bereich von X + 1 bis +10m fiir die rechte Seite, wenn die rechte Seitenwand detektiert 
wird. Der Grund fur diesen begrenzten Bereich von ± 10 m ist darin begrundet, daB die Detektion einer vom 
Fahrzeug weit abgelegenen Seitenwand nur eine geringe Notwendigkeit fur die Praxis auf weist 

Eine derartige Einschrankung fuhrt dazu, daB der Abstimmbereich oder Auswahl bereich auf dem Parameter- 
raum zu einem rechtwinkligen Bereich gemaB Darstellung in Fig. 25 wird und diese rechtwinklige Flache ferner 
in eine Vielzahl von Rasterbereichen unterteilt wird, bei derien jeweils eine Auswahl erfolgt. Die Neigung afi in 
Gleichung (8) liegt innerhalb eines vorbestimmten Anderungsbereichs (beispielsweise ±10° bis ±20 9 ) und wird 
bei jedem Iniervall Aaf des Rasters mit einer Variation von eins um eins festgelegt. Das Bruchstuck bfi wird 
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durch Substituieren einer festgelegten Neigung afi und einer Koordinate (Xi, Zi) der Konstruktionsdaten Pj fQr 
Gleichung (8) berechnet, urid die Auswahl wird fOr das Raster entsprechend dem Parameterraum ausgeftihrt, 
falls der berechnete Wert innerhalb des Beschrankungsbereichs Hegt 

Die detektierte Position der Seitenwand, explizit die Detektionsgenauigkeit der Neigung und des Abschnitts 
5 Oder BruchstQcks in der linearen Gleichung, wird durch die Rasterintervalle Aaf und Abf festgelegt, die durch ein 
Erfordernis der externen Vorrichtung unter Verwendung der Seitenwanddaten f estgelegt werden. Beispielswei- 
se sollte das Rasterintervall Aaf zwischen 1 bis 2° liegen und das Rasterintervall Abf 03 bis 6,6 m betragen, urn als 
MeBeinrichtung fQr eine. gefahrliche Situation wie eine Kollision verwendet werden zu kdnnen, wenn das 
Fahrzeug normal auf der StraBe ffihrt 

io Wie oben beschrieben, erfolgt die Votierung des Parameterraums mit den gesamten Konstruktionsdaten im 
Suchbereich. Existieren dann, wie in Fig. 24 gezeigt ist, die entlang einer geraden Linie angeordneten Daten, so 
liefert das Raster entsprechend den Parameters afi und bfi der geraden Linie, die auf eine Weite f estgelegt 
werden, daB sie mit dem Datenzug koinzidieren, zahlreiche Mehrheitsauswahlen oder Votierungen, die lokal als 
Maximumwerte in jeder der iinken und rechten Auswahlregionen SL und SR erscheinen. 

15 Der lokale Maximumwert wird zu einem groBen Wert, wenn die Seitenwand existiert und ein deutlicher 
Konstruktionsdatenzug vorliegt, wohingegen der lokale Maximumwert einen geringen Wert annimmt, wenn die 
Seitenwand nicht vorliegt und eine Mehrzahl von Gegenstanden sporadisch existiert. Folglich werden die 
lokalen Maximumwerte in jedem der linken und rechten Votierbereiche SL und SR im Parameterraum detek- 
tiert, wodurch das Vorhandensein der Seitenwand geschlossen wird, falls das detektierte lokale Maximum tiber 

20 einem Beurteilungswert liegt Der Beurteilungswert wird unter der Berflcksichtigung der GrdBe der festgeleg- 
ten Suchregion und der Distanz zwischen den Rasterlinien festgelegt. 

Wenn der Seitenwandgeradliniendetektor 142 ermittelt, daB die Seitenwand vorhanden ist, detektiert der 
Seitenwandbereichsdetektor 143 die Positionen der vorderen urid hinteren Enden der Seitenwand Wenn die 
Parameter af und bf aus den entsprechenden Rastern der lokalen Maximumwerte ausgelesen werden, wird die 

25 Seitenwand anhand der unteren linearen Gleichung (9) abgeschatzt, und zwar als die gerade Linie Ff gemSB 
Darstellung in Fig. 26, wenn die detektierte lineare Gleichung beispielsweise in Fig. 24 dargestellt ist. 

X-af x Z + bf (9). 

30 Wenn die Region einer Breite von 0,3 bis 1,0 m an der Mine der geraden Linie Ff als eine Seitenwandkandida- 
ten-Region Tf angesetzt wird, wird diese Region in der Z-Richtung gemSB Darstellung in Fig. 26 unterteilt Die 
Breite der Seitenwandkandidatenregion Tf wird aus der Rasterdistanz Abf des Parameterraums unter der 
Berucksichtigung von Datenfehlern und dergleichen festgesetzt 

Darauffolgend werden die Konstruktionsdaten in der Suchregion sequentiell begutachtet, wobei nur die 

35 Daten innerhalb der Seitenwandkandidatenregion Tf extrahiert werden. AnschlieB end wird die Anzahl vori 
Konstruktionsdaten in jeder Sektion zur Bildung eines Histogramms gezSLhlt. Das in Fig. 27 als Modell darge- 
stellte Histogramm umfaBt einen Abschnitt, der von einer Seitenwand eingenommen wird und einen hohen 
Haufigkeitsgrad aufweist Folglich ist es moglich, zu schlieBen, daB die Seitenwand in der Region vorliegt, indem 
der Abschnitt ermittelt wird, in dem der Grad auf oder Qber dem Beurteilungswert iiegt, wobei die Positionen 

40 vom vorderen und hinteren Ende durch Berechnen der dreidimensionalen Position der Seitenwand festgelegt 
werden. Im in Fig. 24 gezeigten Beispiel wird ein oberes Ende der Suchregion SR als die Position des hinteren 
Endes der Seitenwand (Leitplanke 400) angesehen. 

Fig. 28 zeigt die durch die obige Verarbeitung detektierte Seitenwand als Rahmenlinie. In diesem Beispiel 
kann die Seitenplanke an der rechten Seite detektiert werden. 

45 Wie oben erlautert ist es mdglich, Parameter wie Position und Form jedes Gegenstandes auf der StraBe in 
AbhSngigkeit vom Distanzbild zu gewinnen, das in den Konstruktionsparameterspeicherabschnitt 150 zu schrei- 
ben ist. Dann berechnet die Zwischenraumdistanzberechnungseinrichtung 160, gebildet vom Mikroprozessor 
120c, die Zwischenraumdistanz auf der linken und rechten Seite zwischen dem Fahrzeug und dem detektierten 
Gegenstand. 

so 1st beispielsweise in der Abbildung der Fig. 9 eine X-Koordinate Xl eine Seite des parkenden Fahrzeugs 200, 
eine X-Koordinate Xr eine Seite des parkenden Fahrzeugs 300 und eine X-Koordinate Xwr ein Ende der 
Leitplanke 400 aus Fig. 29, wird eine Distanz Dl zwischen der verlangerten Linie der linken Seite des Fahrzeugs 
1 und dem parkenden Fahrzeug 200 auf der linken Seite aus Gleichung (10) berechnet, ferner wird eine Distanz 
Dr zwischen der verlangerten Linie der rechten Seite des Fahrzeugs 1 zum parkenden Fahrzeug 300 auf der 

55 rechten Seite aus Gleichung (11) berechnet, und es wird eine Distanz Dwr zwischen der verlangerten Linie der 
rechten Seite des Fahrzeugs .1 und der Leitplanke 400 auf der rechten Seite aus Gleichung (12) berechnet, wenn 
die Breite des Fahrzeugs 1 W betragt 
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D L ~ |X L | -W/2 (10) 
Dr= |Xr| -W/2 (11) 

D W r= |Xwr| - W/2 (12). - > 

65 Es erfolgt an jeder Kante eine Berechnung durch die Gleichungen (10),(1 1) und (12), urn so die Minimumwerte 
auf der linken und rechten Seite zu gewinnen. Die Minimumwerte werden zur nSchsten Distanz, namlich der 
Zwischenraumdistanz. Zur Zwischenraumdistanz wird ein kleiner Raum fur einen Ruckspiegel des Gegenstand- 
fahrze.ugs entsprechend der Darstellung in Fig: 3 hinzuaddiert. 

* * 
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Da im in Fig. 9 gezeigten Beispiel die Distanz Dr zwischen dem parkenden Fahrzeug und dem Fahrzeug 1 
geringer als die Distanz Dwr zwischen der Leitplanke 400 und dem Fahrzeug 1 ist, wird die Distanz Dr als rechte 
Zwischenraumdistanz zur Ausgabe auf dem Display 3 aufgegriffea 

Ein Schwellwert wie beispielsweise 1 m wird fur den numerischen Wert der auf dem Display 3 darzustellenden 
Zwischenraumdistanz vorgesehen, wobei ein numerischer Wert oberhalb dieses Schwellwerts nicht dargestellt 
ist, und zwar deshalb, weil es keinen Sinn macht, deri numerischen Wert noch darzustellen, wenn der Zwischen- 
raum ausreichend grofl ist 

Im folgenden wird die Funktionsweise des Bildprozessors 20 und des Distanzbildverarbeitungscomputers 120 
erlauterL 

Fig. 30 ist ein FluBdiagramm, das den FunktionsfluB de§ Bildprozessors 20 zeigt. Im Schritt S101 werden die 
durch die CCD-Kameras 11a und lib auf der linken und rechten Seite aufgenommenen Bilder eingegeben. Im 
Schritt S1Q2 fiihren, nachdem die eingegebenen analogen Bilder durch die A/D-Wandler 31a und 31b in digitale 
Bilder umgesetzt worden sind, die eine vorbestimmte Leuchtdichtegradation aufweisen, die LUTs 32a und 32b 
eine Kompensation der Eigenschaften der CCD-Kameras 11a und lib auf der linken und rechten Seite durch 
und erh6hen den Kontrast einer Komponente niedriger Leuchtdichte, urn dann die Bilddaten in den Bildspei- 
chern 33a und 33b zu speichern. 

Die in den Speichern 33a und 33b gespeicherten Bilder sind nur Linien, die fur die Verarbeitung in den 
folgenden Schritten erforderlich sind, innerhalb aller Zeilen (Linien) der CCD-Elemente der CCD-Kameras 11a 
und lib, und werden erneut eingeschrieben mit einer Rate von einmal pro 0,1 s (eine Rate von einmal pro 3 im 
TV-Bild). 

Darauffolgend werden im Schritt SI 03 die Daten des linken und rechten Bildes, die vier Linien oder Zeilen 
umfassen, aus den Bildspeichern 33a und 33b fur die linken und rechten Bilder Qber den gemeinsamen Bus 80 in 
die Eingangspufferspeicher 41a, 41b, 42a und 42b gelesen, um so eine Obereinstimmung oder Abstimmung, 
namlich eine Koinzidenz zwischen den zuvor eingelesenen linken und rechten Bildern abzuschatzen. 

Zu diesem Zeitpunkt werden Lese- und Schreiboperationen alternierend wiederholt, wobei der Lesevorgang 
von den Bildspeichern 33a und 33b zu den Eingangspufferspeichern 41a, 41b, 42a und 42b durchgefuhrt wird und 
der Schreibvorgang zu den Schieberegistern 43a, 43b, 44a und 44b erfolgt Beispielsweise werden im linken Bild, 
wahrend die Bilddaten aus dem Bildspeicher 33a in den Puff erspeicher 41a auf einer Seite eingelesen werden, die 
Bilddaten aus dem Eingangspuffer auf der anderen Seite in das Schieberegister 43b geschrieben. Im rechten Bild 
werden, wahrend die Bilddaten aus dem Bildspeicher 33b in den Pufferspeicher 42a auf einer Seite eingelesen 
werden, die Bilddaten aus dem Pufferspeicher 42b auf der anderen Seite in das Schieberegister 44b geschrieben. 

Wie in Fig. 31 gezeigt ist, speichern die Schieberegister 43a, 43b, 44a und 44b Bilddaten (1, 1) bis (4, 4) der 
kleinen Regionen von 4x4 Pixeln im linken und rechten Bild, in denen die Schieberegister 43a (44a) Daten der 
ersten und zweiten Zeiie und die Schieberegister 43b (44b) Daten der dritten und vierten Zeile in der Reihenfol- 
ge der ungerade numerierten Zeile und der geraden numerierten Zeile fur jedes Pixel speichern. Jedes der 
Schieberegister 43a, 43b, 44a und '44b weist eine unabhangige Obertragungszeile auf, und die Daten von 4 x 4 
Pixeln werden beispielsweise durch acht Takte ubertragen. 

Der Inhalt der geraden Stufen innerhalb der acht Stufen wird augenblicklich aus den Schieberegistern 43a, 
43b, 44a, 44b in die City-Biock-Distanzberechnungsschaltung 45 ubergeben. Wenn die Berechnung der City- 
Block- Distanz H beginnt, werden die rechten Bilddaten in den Schieberegistern 44a und 44b gespeichert, und es 
werden die Daten ungerader Zeilen und die Daten gerader Zeilen abwechselnd mit jedem.Takf ausgegeben. 
Andererseits werden die linken Bilddaten fortgesetzt in die Schieberegister 43a und 43b ubertragen und dann die 
Daten ungerader Zeilen und die Daten gerader Zeilen alternierend ausgegeben, und es werden die Daten jeweils 
ein Pixel pro zwei Takte nach rechts verschoben und ersetzt. Dieser Vorgang wird wiederholt, bis die Ersetziing 
von 100 Pixeln (200 Takte) erfolgt ist. 

AnschlieBend, wenn die Obertragung beziiglich einer kleinen Region abgeschlossen ist, beginnt der ProzeC in 
der nachsten kleinen Region durch Setzen des Inhalts (eine Anfangsadresse in der kleinen Region von 4x4 
Pixeln) im rechten Bildadreflzahler in den linken BildadreBzahler in einer Nr. 2-A Adressensteuereinrichtung 87. 

In der City-Block-Distanzberechnungsschaltung 45 werden, wie im Zeitdiagramm der Fig. 32 gezeigt, die 
Daten fur die acht Pixel zunachst in einen Absolutwertberechner in der ersten Stufe der Pyramidenkonstruktion 
eingegeben, um einen Absolutwert der Leuchtdichtedifferenz zwischen dem linken und rechten Bild zu berech- 
nen, wobei die Leuchtdichte des linken Bildes von der Leuchtdichte des entsprechenden rechten Bildes subtra- 
hiert wird. Wenn das Subtraktionsergebnis negativ ist, erfolgt die Subtraktion erneut, indem die Subtraktionspo- 
sitionen ausgetauscht werden, um den Absolutwert zu berechnen. Folglich gibt es einmal eine Gelegenheit, bei 
der zwei Subtraktionen in der Anfangsstufe ausgefuhrt werden. 

Nachdem die Anfangsstufe abgeschlossen ist, werden zwei augenblickliche Eingangsdaten durch die ersten bis 
dritten Addierer der zweiten bis vierten Stufe addiert, um Additionsdaten auszugeben. Dann addiert der 
Gesamtsummenaddierer in der Endstufe zwei kontinuierliche, zusammenhangende Daten zueinander, um die 
gesamte Summezu berechnen, so daB die City-Block- Distanz H fur erforderliche 16 Pixelkomponenten alle zwei 
Takte zum Minimum- und Maximum wertdetektor 50 ausgegeben wird. 

Darauffolgend werden im Schritt S104 der Maximumwert Hmax und der Minimumwert Hmin fur die City- 
Block- Distanz H ermittelt, die im Schritt Si 03 berechnet worden ist. Wie oben erwahnt, entsprechen die 
Ermittiungen von Maximumwert Hmax und Minimumwert Hmin einander mit Ausnahme der entgegengesetz- 
ten Logik und einer Speicherung des Abweichungsbetrags. Folglich wird weiter unten die Detektion des. 
Minimumwerts Hmin als reprasentativ dargeiegt. 

Zunachst wird die City- Block- D.istanz H (der Abweichungsbetrag x = 0) des ersten Aiisgangssignals durch die 
C-Latchschaltung 53 der Minimumwertdetektorschaltung 51 aus Fig. 8 zum B-Register 46b des Rechners 46 
zugefuhrL Die City-Block-Distanz H (Abweichungsbetrag 6 = 1), die im nachsten Takt ausgegeben wird, wird 
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der C-Latchschaltung 53 und dem Rechner 46 zugefiihrt Der Rechner 46 beginnt mit der Vergleichsberechnung 
mit dem B-Register 46b gleichzeitig mit der Eingabe der City-Block-Distanz H. 

Als Ergebnis der Vergleichsberechnung im Rechner 46 wird, falls der Inhalt im A- Register 46a geringer als der 
Inhalt im B-Register 46b ist, der Inhalt in der C-Latchschaltung 53 (n&mlich der Inhalt im A- Register 46a) beim 
5 nachsten Takt zum B-Register 46b Qbertragen, und der Abweichungsbetrag 6 zu diesem Zeitpunkt wird in der 
D-Latchschaltung 55 gespeichert Gleichzeitig mit diesem Takt wird die nachste City-Block-Distanz H (Abwei- 
chungsbetrag 8 = 2) dem A-Register 46a und der C-Latchschaltung 53 zugefiihrt, um die Vergleichsberechnung 
wieder zu starten. ' " ■ 

Auf diese Weise wird, wahrend der Minimumwert in der Mitte der Berechnung gewdhnlich im B-Register 46b 
io gespeichert wird und der Abweichungsbetrag 6 zu diesem Zeitpunkt in der D-Latchschaltung 55 gespeichert 
wird, die Berechnung fortgesetzt, bis der Abweichungsbetrag 100 wird. Wehn die Berechnung abgeschlossen ist 
(namlich einen Takt nach Ausgabe der letzten City-Block-Distanz H), wird der Inhalt im B-Register 46b und der 
D- Latchschaltung 55 in die Abweichungsbetragbestimmungseinrichtung 60 gelesen. 

Wahrend dieser Verarbeitung liest die oben erwahnte City-BIock-Distanzberechnungsschaltung 45 den An- 
15 fangswert der nachsten kleinen Region, um die Erzeugung einer Totzeit zu vermeiden. Obgleich vier Takte fur 
die Berechnung einer City-Block-Distanz H in Anspruch genommen werden kdnnen, da die Schaltung 45 eine 
Pipelinekonstitution auf weist, neue Berechnungsergebnisse alle zwei Takte gewonnen werden. 

Wenn der Minimumwert Hmin und der Maximumwert Hmax der City-Block-Distanz H im Schritt SI 04 
erstellt sind, priift die Abweichungsbetrag- oder kurz Diskrepanzbestimmungseinrichtung 60 die oben erwahn- 
20 ten drei Bedingungen zur Ermittlung des Abweichungsbetrags x im Schritt SI 05. 

Folglich wird gemaB Darstellung in Fig. 33 der Minimumwert Hmin uber den B-Bus 62b in das B-Register 62 
gegeben und dort gespeichert, und der Schweliwert Ha, der mit dem Wert im B-Register 72 verglichen wird 
wird Qber den A-Bus 62a in das A-Register 71 gegeben urid dort gespeichert. Dann vergleicht die ALU 70 beide 
Werte. Wenn der Mmimumwert Hmin groBer als der Schweliwert Ha ist, wird die Schaltstufe 65 so zurQckee- 
25 stellt, daB sie gewdhnlich "0" trotz irgendeiner spateren PrQfung ausgibt 

Dar aufhin wird der Maximumwert Hmax durch das A-Register 71 gespeichert, und die Differenz zwischen 
dem Maximumwert Hmax, der im A-Register 71 gespeichert ist, und dem Minimumwert Hmin, der im B-Regi- 
ster 72 gespeichert wird, wird zur Ausgabe des Berechnungsergebnisses an das F-Register 73 berechnet. Das 
A-Register 71 speichert den Schweliwert Hb beim nachsten Takt und vergleicht ihn mit dem Wert im F-Register 
30 73. Die Schaltstufe 65 wird auf dieselbe Weise zuriickgesetzt, wenn der Inhalt im F-Register 73 kleiner als der 
Schweliwert Hb ist, der im A-Register 71 gespeichert ist. 

Vom nachsten Takt an wird mit der Berechnung der Leuchtdichtedifferenz zwischen benachbarten Pixeln 
begonnea Zwei Schieberegister 64a und 64b weisen einen jeweils zehnstufigen Aufbau auf zur Speicherung der 
Leuchtdichtedaten und sind mit den hinteren Stufen der Schieberegister 44a und 44b der City- Block- Distanzbe- 
35 rechnungseinheit 40 verbunden, in der das Schieberegister 44a far die erste und zweite Zeile dient und das 
Schieberegister 44b f Or die dritte und vierte Zeile. Die Ausgange der Schieberegister 64a und 64b werden von 
der Endstufe abgegriffen, und zwei vor der Endstufe zur Ausgabe an den A-Bus 62a bzw. an den B-Bus 62b. 

Wenn die Berechnung der Leuchtdichtedifferenz beginnt, speichert jede Stufe in den Schieberegistern 64a und 
64b die Leuchtdichtedaten jeder Stelle in den kleinen Regionen, und das A-Register 71 und das B-Register 72 im 
40 Rechner 61 speichern zunachst die Leuchtdichtedaten in der vierten Spake in der ersten Reihe der vorhergehen- 
den kleinen Region und die Leuchtdichtedaten in der ersten Spake der ersten Reihe der gegenwartigen kleinen 
Region. 

Der Rechner 61 berechnet einen Absolutwert der Differenz zwischen dem Inhalt im A-Register 71 und dem 
Inhalt im B-Register 72 zur Speicherung des berechneten Ergebnisses im F-Register 73. Das A-Register 71 
45 speichert den Schweliwert He beim nachsten Takt zum Vergleich dieses Werts mit dem Wert im F-Register 73. 

1st als Ergebnis im Rechner 61 der Inhalt (der Absolutwert der Leuchtdichtedifferenz) im F-Register 73 grdBer 
als der Inhalt (Schweliwert He) des A- Registers 71, so gibt die Schaltstufe 65 den Abweichungsbetrag x oder "(T 
aus. Ist demgegenuber der Inhalt im F-Register 73 kleiner als der Inhalt im A-Register 71, so gibt die Schaltstufe 
65 "0" zur Einschreibung an der Position in der ersten Spalte der ersten Reihe der kleinen Region entsprechend 
so den Ausgangspuffern 66a und 66b aus. 

Wahrend der Rechner 6.1 die Leuchtdichtedifferenz zwischen den benachbarten Pixeln mit dem Schweliwert 
He vergleicht, verschieben die Schieberegister 64a bzw. 64b jeweils eine Stufe. Danri beginnt der Rechner 61 mit 
der Berechnung der Leuchtdichtedaten in der vierten Spalte in der zweiten Reihe in der vorhergehenden kleinen 
Region und der Leuchtdichtedaten in der ersten Spalte in der zweiten Reihe der gegenwartigen kleinen Region: 
55 Auf diese Weise wird nach DurchfUhrung der wechselweisen Berechnung fur die erste und zweite Reihe der 
kleinen Region dieselbe Berechnung bezfiglich der dritten und vierten Reihe ausgefiihrt. 

Wahrend der Berechnung wird durch Verbinden der Endstufe des Schieberegisters 64a mit der ersten Stufe 
des Schieberegisters 64b ein Ringregister gebildet. Wenn zwei Schiebetakte nach der Berechnung fur die 
Gesamtheit der kleinen Regionen hinzugefugt bzw. addiert sind, geht der Inhalt im Register auf den Zustand vor 
der Berechnung zuruck. Wenn die Leuchtdichtedaten in der nachsten kleinen Region fur die Obertragung 
vervollstandigt sind, werden die Paten in der vierten Reihe in der gegenwartigen kleinen Region in der Endstufe 
und vorausgehenden Stufe beibehalten. 

Da auf diese Weise die nachsten Datenim A-Bus 62a und B-Bus 62b vorgesehen werden und die Berechnungs- 
ergebnisse dort eingeschrieben werden und zwar wahrend der Berechnung zur Ermittlung des Abweichungsbe- 
65 trages, wird eine Date nur durch zwei fiir die Berechnung erforderliche Takte verarbeitet. Infolgedessen wird die 
gesamte Berechnung innerhalb 43 Takte abgeschlossen, obgleich die AnfangsprUfung fur den Minimumwert 
Hmin und den Maximumwert Hmax eingeschlossen ist, und es ist ausreichend Zeit vorhanden. um den Mini- 
mumwert Hmin und den Maximumwert Hmax der City-Block-Distanz H hinsichtlich einer kleinen Region zu 
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ermitteln, wodurch hierbei die M6glichkeit der Hinzuftigung einer weiteren Funktion besteht. 

Es wird im Schritt S106 der Abweichungsbetrag ermittelt, wobei der Abweichungsbetrag x als Distanzvertei- 
lungsinformation aus den Ausgangspufferspeichern 66a und 66b zurn Dualportspeicher90 ausgegeben wird, um 
so die Verarbeitung im Bildprozessor 20 zu beenden. 

Die Ausgangspufferspeicher 66a und 66b weisen beispielsweise eine Kapazitat von vier Zeilen wie im Fall der 
oben erwahnten Eingangspufferspeicher 41a,4ib, 42a und 42b auf. Wahrend die Distanzverteilungsdaten in ein 
Paar von zwei Paaren eingeschrieben werden, werden die Daten von einem weiteren Paar zweier Paare zum 
Dualportspeicher 90 ubertragen. 

Es ist moglich, die dreidimensionale Position im XYZ-Raum des Gegenstandes entsprechend jedem Pixel aus 
der Distanzverteilungsinformation zu berechnen, die in den Dualportspeicher 90 eingeschrieben ist, und z war in 
Abhangigkeit vom Linsenparameter wie einer Anbringungsposition und einer Brennweite und dem Brennpunkt 
der CCD-Kameras 11 und 12, wodurch es moglich ist, die Distanz des Gegenstandes auBerhalb des Fahrzeugs 
ohne Verschlechterung der Datenmenge prazise zu ermitteln. 

Es wird nun die gesamte Zeitsteuerung des Bildprozessors 20 entsprechend der Zeittabelle in Fig. 34 erlautert 

Zunachst schreiben die Bildspeicher 33a und 33b jeweils das Teilbildsignal (field-signal) von der linken und 
rechten CCD-Kamera 11a und lib ein, die einander mit einer Zeitsteuerung von jeweils 0,1 s synchronisieren 
(mit einer Rate von einem Bild pro drei Bildern). 

Daraufhin wird ein Block bei jeweils vier Zeilen nach Empfang eines Aufnahmeendsignals Gbertragen. Die 
Obertragung erfolgt durch Obertragen von drei Blocken des rechten Bildes, linken Bildes und des Distanzvertei- 
lungsbildes als Ergebnis in dieser Reihenfolge. 

Wahrenddessen erfolgt die Berechnung beziiglich eines Abweichungsbetrages 5 fur einen der Eingangs- urid 
Ausgangspufferspeicher. Nach Verstreichen einer vorbestimmten Zeit unter Berucksichtigung der Berech- 
nungszeit fQr den Abweichungsbetrag 8 erfolgt eine Obertragung in den anderen der Eingangs- und Ausgangs- 
pufferspeicher. 

Hundert Berechnungen werden fur die City-Block-Distanz H hinsichtlich einer kleinen Region von 4x4 
Pixeln eines rechten Bildes durchgefGhrt, da die Berechnung durch Verschieben von 100 Pixeln iiber das linke 
Biid ausgefiihrt wird. Wahrend die Berechnung bezuglich der City-Block-Distanz H in einer Region ausgefuhrt 
wird, wird der Abweichungsbetrag 5 in der vorausgehenden Region als die Distanzverteilung nach jeder 
Prufung ausgegeben. 

Betragt die zu verarbeitende Zeiienzahl 200, wird eine Verarbeitung fur vier Zeilen 50mal wiederholt, wo- 
durch eine Verarbeitungszeit von acht Zeilen erforderlich ist, und zwar vier Zeilen, um die Anfangsdaten beim 
Starten der Berechnung zu ubertragen, und von vier Zeilen, um das Endergebnis nach AbschluB der Berechnung 
zum Bilderkennurigsabschnitt zu ubertragen. 

Im Ergebnis ist eine Zeit 0,076 s fur die tatsachliche Operation der Schaltung vom Beginn der Obertragung der 
anfanglichen Eingangsbildzeile bis zum Ende der Obertragung der Enddistanzverteilung erforderlich. 

Ferner zeigen die FluBdiagramme der Fig. 35 und 36 eine Gegenstanddetektions-Verarbeitung, die im Mikro- 
prozessor 120a erfolgt Im Schritt S201 wird eine Position der StraBenoberflache gesetzt Im Schritt S202 wird 
das Distanzbild vom Bildprozessor 20 in rasterformige Regionen aufgeteilL Im Schritt S203 werden die Daten 
aus der Anfangsregion gelesen. 

Daraiiffolgend fahrt das Verfahren mit Schritt S204 fort, und die Anfangsdaten in der Region werden gesetzt. 
Im Schritt S205 erfolgt die Berechnung hinsichtlich der dreidimensionalen Position (X, Y, Z) des Gegenstandes, 
namlich der Distanz und Hone. Nachdem die Hone- der StraBenoberflache im Schritt S206 fur die Distanz Z 
berechnet worden ist, werden die Daten iiber der StraBenoberflache im Schritt S207 selektiert. 

Im Schritt S208 werden die Daten dahingehend uberpruft, ob die Daten Enddaten sind oder nicht. Wenn die 
Daten keine endgultigen Daten sind, werden im Schritt S209 die nachsten Daten in der Region gesetzt, um den 
ProzeB zum obenerwahnten Schritt S205 zum Fortsetzen der Verarbeitung zuriickzufuhren. Wenn die Daten 
endgultige Daten sind, schreitet der ProzeB vom Schritt S208 mit Schritt S21 0 fort ^ 

Im Schritt S210 wird ein Histogramm gebildet. Im Schritt S21 1 wird die Sektion detektiert, in der der Grad des 
Histogramms uber dem Beurteilungswert liegt und einen Maximalwert annimmL Wenn die Sektion detektiert 
ist, in der der Grad des Histogramms iiber dem Beurteilungswert liegt und den Maximalwert annimrnt, existiert 
der Gegenstand in dieser Sektion, und es wird im Schritt S212 die Distanz zum Gegenstand bestimmt 

Im Schritt S213 wird untersucht, ob die Region eine Endregion ist oder nicht Handelt es sich nicht um eine 
Endregion, so werden die Daten in der nachsten Region im Schritt S214 gelesen, um zum Schritt S204 zuruckzu- 
kehren und dieselbe Verarbeitung fortzusetzen. Ist die Region endgultig, so schreitet der ProzeB zum Schritt 
S215 fort, um die Distanz und die vorhandene Region des Gegenstandes zu detektieren, um so die Detektion zu 
beenden und zum Schritt S2 1 6 iiberzugehen. 

Im Schritt S216 wird ein Parameter fQr den Anfangsgegenstand gesetzt. Im Schritt S217 wird das dreidimen- 
sionale Fenster WD3 fur die Hohe seines unteren Endes uhd den Distanzbereich gesetzt. Im Schritt S218 wird die 
Form des zweidimensionalen Fensters WD2 abhangig vom dreidimensionalen Fenster WD3 berechnet, um dann 
mit dem Schritt S21 9 fortzufahren. 

Im Schritt S219 werden die Daten aus dem zweidimensionalen Fenster WD2 gelesen; Nach Berechnen der 
dreidimensionalen Position des Gegenstandes im Schritt S220 werden die Daten im Schritt S221 selektiert und 
aus dem dreidimensionalen Fenster WD 3 extrahiert. 

AnschlieBend, wenn die Daten im Schritt S221 extrahiert sind, erfolgt eine Projektion dieser Daten auf das 
zweidimensionale Bild im Schritt S222, und anschlieBend wird durch Verbinden aller Daten durch Linien im 
Schritt S223 ein FConturbild erzeugt. paraufhin werden im Schritt S224 die Form, Gro Be,. Position und Ge- 
schwindigkeit des Gegenstandes berechnet. Im Schritt S225 wird gepruft, ob der Gegenstand ein Endgegenstand 
ist oder nicht. 
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1st der Gegenstand kein Endgegenstand, wird der Parameter des nachsten Gegenstandes im Schritt S226 
gesetzt, um dann auf Schritt S217 zurfickzugehen, Handelt es sich urn einen Endgegenstand, so werden im Schritt 
S227 Parameter wie Position, Form, Geschwindigkeit, Beschleunigung und Moglichkeit einer Kollision des 
Gegenstandes in den Ausgangsspeicher 125 gelesen, um den ProzeB abzuschlieBen. 
5 Darfiber hinaus ftthrt der Mikroprozessor 120b die Seitenwanddetektion gemaB Darstellung in den Fig. 37 
und 38 parallel zur Objektdetektion durch den Mikroprozessor 120a aus. Bei dieser Seitenwanddetektion 
werden, wenn die StraBenoberflachenposition im Schritt S301 gesetzt wird, die Anfangsdistanzdaten im Schritt 
S302 aus dem Distanzbild gelesen. 

Darauffolgend werden im Schritt S303 die Position (X, Z Koordinaten) und die H6he (Y-Koordinate) des 
io Gegenstandes berechnet. Im Schritt S304 wird die H6he H (Y-Koordinate) berechnet, bezogen auf die StraBen- 
oberflache in der Distanz Z. Im Schritt S305 werden die Daten fiber der StraBenoberflache und unter der H6he 
des Fahrzeugs als die Konstruktionsdaten extrahiert. 

Im Schritt S306 werden die Daten dahingehend untersucht, ob sie Enddaten darstellen oder nicht Sind die 
Daten nicht Enddaten, wird die nachste Distanzrate im Schritt S307 gelesen, und der ProzeB geht zurClck auf 
15 Schritt S303, um das oben dargelegte Verfahren zu wiederholeit Wenn die Daten Enddaten sind, geht der 
ProzeB von S306 auf S308. 

Im Schritt S308 werden die anfanglichen Konstruktionsdaten gelesen, und im Schritt S309 wird die Position 
(X, Z Koordinaten) des Gegenstandes berechnet. Im Schritt S3 10 wird die berechnete Position (X, Z Koordina- 
ten) dahingehend untersucht, ob sie sich in der Suchregion befindet oder nicht 
20 Liegt die berechnete Position (X, Z Koordinate) auBerhalb der Suchregion, so springt der ProzeB vom Schritt 
S310 zum Schritt S312. Liegt die Position innerhalb der Suchregion, so schreitet der ProzeB von Schritt S310 mit 
Schritt S3 11 fort, um eine Auswahl in dem Parameterraum auszufuhren und dann mit Schritt S3 12 fortzufahren. 

Im Schritt S3 12 werden die verarbeiteten Konstruktionsdaten daraufhin geprflft, ob sie Enddaten darstellen 
oder nicht. Wenn die Daten nicht endgfiltig sind, werden die nachsten Konstruktionsdaten im Schritt S3 13 
25 gelesen, um denselben Vorgang vom Schritt S309 an zu wiederholen. Sind die Daten endgfiltig, so schreitet der 
ProzeB mit Schritt S3 14 fort, um den lokalen Maximumwert im Parameterraum zu detektieren. 

Darauffolgend wird mit Schritt S3 15 fortgefahren, um zu ermitteln, ob der lokale Maximumwert fiber dem 
Beurteilungswert liegt oder nicht Liegt der Wert unter dem Beurteilungswert, so wird ermittelt, daB die 
Seitenwand fehlt (Schritt S316). Liegt der Wert fiber dem Beurteilungswert, so wird geschlossen, daB eirie 
30 Seitenwand vorliegt (S3 17). Dann wird mit Schritt S3 18 fortgefahren. 

Im Schritt S3 18 erfolgt ein LeseprozeB nach einem Parameter entsprechend dem Raster des lokalen Maxim- 
umwerts aus Schritt S314, namlich einem Parameter (af, bf) der linearen Gleichung, die den lokalen Maximum- 
punkt zeigt Darauffolgend wird im Schritt S3 1 9 die Seitenwandkandidatenregion gesetzt 

Im Schritt S320 werden die anfanglichen Strukturdaten aus der Suchregion gelesen. Nach Berechnen der 
35 Position (X, Z Koordinate) des Gegenstandes im Schritt S321, werden die im Seitenwand- Abschatzungsbereich 
enthaltenen Daten im Schritt S322 extrahiert AnschlieBend werden im Schritt S323 die Daten daraufhin 
untersucht, ob sie Enddaten innerhalb der Suchregion sind oder nicht 

Handelt es sich nicht um Enddaten, so zweigt der ProzeB von Schritt S323 zum Schritt S324 ab, um die 
nachsten Strukturdaten in der Suchregion zu lesen und zum Schritt S321 zuruckzukehren. Sind die Daten in der 
40 Suchregion Enddaten, d. h. liegen sie am Ende dieser Region, so schreitet der ProzeB von Schritt S323 zum 
Schritt S325 fort, um das Histogramm unter Verwendung der Daten in dem Seitenwandabschatzungsbereich zu 
bilden. 

Im folgenden Schritt S326 wird der Haufigkeitsgrad des gebildeten Histogramms untersucht, und festgestellt, 
wo die Sektion liegt, in der der Grad fiber dem Beurteilungswert liegt wobei dann mit Schritt S327 fortgefahren 

45 wird. Im Schritt S327 wird die dreidimensionale Position beider Enden dieser Sektion bestimmt in der der Grad 
des Histogramms fiber dem Beurteilungswert liegend berechnet wurde. Im Schritt S328 wird das Programm 
abgeschlossen, indem die Parameter, wie das Vorliegen oder Fehlen, die Position und die Richtung der Seiten- 
wand und die Position des vorderen und hinteren Endes, in den Ausgangsspeicher 125 eingeschrieben werden. 
Das Programm wird zunachst bezuglich einer linken Seitenwand und dann bezfiglich einer rechten Seitenwand 

50 durchgefuhrt. 

Durch den obigen ProzeB ist es moglichi die Position und GrdBe einer Vorderwand und eines geparkten 
Fahrzeugs bezuglich des in Frage stehenden Fahrzeugs. 1 festzustellen, und es ist moglich, das Programm zur 
Verarbeitung der Zwischenraumdistanzberechnung gemaB Fig. 39 durch den Mikroprozessor 120c durchzuffih- 
ren. 

55. In diesem ZwischenraumdistanzberechnungsprozeB werden im Schritt S401 die Position der Kante oder des 
Randes vom Objekt auf der Fahrzeugseite und die Position des Endes der Seitenwand eingegeben. Dann werden 
im Schritt S402 die rechte und linke Distanz jeweils fur die X-Richtung zwischen dem Ende der Seitenwand oder 
jedem Rand oder jeder Kante des Gegenstandes und der verlangerten Linie des Seitenbereichs vom Fahrzeug 1 
ermittelt 

60 Im darauffolgenden Schritt S403 werden jeweils der rechte und linke Minimumwert fur jede der im Schritt 
S402 gewonnenen Distanzen ermittelt. Im Schritt S404 wird ein kleiner Spielraum als die Zwischenraumdistanz 
zu jedem der linken und rechten Minimumwerte hinzuaddiert, um dann den numerischen Wert fiber die 
Displaysteuereinrichtung 126 auf der Anzeige oder dem Display 3 anzuzeigen. 

* 

65 Bezugszeichenliste 
Fig. 1 

15 Stereoskopische Bildverarbeitungseinrichtung 
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100 Objektdetektoreinrichtung 

110 Zwischenraumdistanz-Berechnungseinrichtung 

Fig. 2 

20 Bildprozessor 

20a Distanzdetektorschaltung 

20b Distanzbildspeicher 

4 Geschwindigkeitssensor 

5 Lenkwinkelsensor 

6 Modussetzschalter 
3 Displayeinrichtung 

120a bis 120c Mikroprozessor 

126 Displaysteuereinrichtung 

127 Interfaceschaltung 
125 Ausgangsspeicher 
124 RAM 

123 ROM 

122 Interfaceschaltung 
Fig. 3 

3e Linksseitiger Zwischenraum 30 cm und rechtsseitiger Zwischenraum 10 cm 
Cruise Fahren 
3b Leiten 
Assist Hilfe 
Check Priifen 

Fig. 5 

Left Camera = Linke Kamera 
Right Camera = Rechte Kamera 
Camera Position = Kameraposition 
Projecting Surface = Projektionsflache 

Fig. 6 

33a Bildspeicher 
33b Bildspeicher 
41a— 42b Speicher 

86 Nr. 1 AdreB-Steuereinrichtung 
85 Taktgeneratorschaltung 

90 Dualportspeicher 

87 Nr. 2 AdreB-Steuereinrichtung 
66a, 66b Speicher 

65 Schaltstufe 
70 ALU 

51 Minimumwertdetektorschaltung 

52 Maximumwertdetektorschaltung 

45 City-Block-Distanzberechriungsschaltung 
32 LUT 

Fig. 7 

Total sum — Gesamtsumme 
Addition = Addition 

46 Absolutwertberechnung 
unten: Links 1J ; Rechts 1,1 usw. 

Fig. 8 

Discrepancy amount = Abweichungsbetrag 
Clock = Takt 
MSB bleibt 

unten = Ausgang der City-Block-Distanzberechnungsschaltung 

■ • • 

Fig. 10 

Coordinate = ^Coordinate 
Fig. 13 

20b Distanzbildspeicher 

133 Objektkonturbildextraktionseinrichtung 

131 Objektdetektor 

132 Erzeugungseinrichtung fur dreidimensionales Fenster 
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141 Objektdatenextraktionseinrichtung 

142 Seitenwand-Geradliniendetektor 

143 Seitenwandbereichsdetektor 

150 Objektparameterspeicherabschnitt 
5 160 Zwischenraumdistanzberechnungseinrichtung 

Fig. 15 

Degree = Grad 
Distanz » Distanz 
io Maximum value = Maximal we rt 
Judge value = Beurteilungswert 

Fig. 16 

(Detected distance) = (Detektierte Distanz) 

15 

Fig. 21 

Linksseitiger Suchbereich Sl 
Rechtsseitiger Suchbereich Sr 
Sichtfeld der Kamera 

20 

Fig. 22 

Linksseitiger Suchbereich Sl 
Rechtsseitiger Suchbereich Sr 

, - 

25 Fig. 33 

Noise shape data = Rauschformdaten 

Data of parked car = Daten vom geparkten Fahrzeug 

Data of guardrail = Leitplankendaten 

Visual field of camera = Sichtfeld der Kamera 
30 Left side search region Sl = Linksseitiger Suchbereich Sl 

Right side search region Sr - Rechtsseitiger Suchbereich Sr 

Data of building «=» Gebaudedaten 

Data of thicket — Dickichtdaten 

Data of grassland on hill « Grasbewuchsdaten von Anhdhe 

35 '• ■ 

Fig. 24 

Set region of slant afi « Festgelegter Bereich der Neigung afi 
Straight line Fi = Gerade Linie Fi 

Limit range of cut piece bfi « Grenzbereich fur Abschnitt bfi 
40 Object data Pi = Objektdaten Pi 

Visual field of camera = Sichtfeld der Kamera 

Fig. 25 

Left side voting region « Linksseitiger Votierbereich 
45 Right side voting region = Rechtsseitiger Votierbereich 
Grating « Raster 

Fig. 26 

Section == Sektion 
so Straight line Ff « Gerade Linie Ff 

Visual field of camera = Sichtfeld der Kamera 

Side wall candidate region Tf = Seitenwandkandidatenregion Tf 

Fig. 27 
55 Degree = Grad 
Section = Sektion 
Judge value « Beurteilungswert 
Side wall existing area = Seitenwandexistenzbereich 

eo Fig. 28 

Detected guardrail = Detektierte Leitplanke 

Leftside search region Sl =» Linksseitiger Suchbereich Sl 

Rightside search region Sr — Rechtsseitiger Suchbereich Sr 

- ... 

65 Fig. 30 

Start = Start 

End — Ende 

S101 = Bildeingabe 
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5102 - A/D-Wandlung 

5103 = Suche nach einer Position entsprechender linker und reenter Bilder (Abstimmung durch City-Block-Di 
stanz) 

5 1 04 « Detektion von Minimum- und Maximumwerten der City-Block-Distanz 

5 1 05 = Bestimmung vom Abweichungsbetrag von Positionen, die linken und rechten Bildern entsprechen 

51 06 « Distanzverteilungsausgabe 

Fig. 31 

Small regions = Kleine Regionen 

Shift direction = Verschiebungsrichtung 

For 1st and 2nd lines = Fiir erste und zweite Zeile 

For 3rd and 4th lines ■» Fur dritte und vierte Zeile 

Output = Ausgang 

Fig. 32 

Clock = Takt 

Input latch of first adder = Eingabe in latch vom Absolutwert-Berechner 
darunter 

Eingabe in latch vom ersten Addierer 
Eingabe in latch vom zweiten Addierer 
Eingabe in latch vom dritten Addierer 
Eingabe in latch vom Gesamtsumrnenaddierer 

Eingabe in latch der Minimum- und Maximumwertdetektorschaltung 

First subtraction = Erste Subtraktion 

Second subtraction = Zweite Subtraktion 

Io « GeradzahJ-Zeilendaten vom Abweichungsbetrag "0" 

I e « Ungeradzahl-Zeilendaten vom Abweichungsbetrag "0" 

IIo » Geradzahlzeilendaten vom Abweichungsbetrag "1" 

lie — Ungeradzahl-Zeilendaten vom Abweichungsbetrag "1" 

unten steht: Erstellung der City-Block-Distanz vom Abweichungsbetrag "0" 

unten steht: Erstellung der City-Block-Distanz vom Abweichungsbetrag "1" 

Fig. 33 

Clock = Takt 
A Bus 
B Bus 

Calculation = Berechnung 
Switch circuit = Schaltstufe 

Writing to ... = Schreiben in Ausgang vom Pufferspeicher 

In Zeile von A Bus steht: Leuchtdichte von (1,4) Pixel in der vorhergehenden kleinen Region 

In Zeile von A Bus steht: Leuchtdichte von (2,4) Pixel in der vorhergehenden kleinen Region 

InZeilevon A Bus steht: Leuchtdichte von (2,1) Pixel 

In Zeile von B Bus steht: Leuchtdichte von (1,1) Pixel 

In Zeile von B Bus steht: Leuchtdichte von (2,1) Pixel 

In Zeile von B Bus steht: Leuchtdichte von (1,2) Pixel 

In Zeile von B Bus steht: Leuchtdichte von (2,2) Pixel 

In Zeile von Berechnung: Fruhere kleine Region ... 

In Zeile von Schaltstufe: Reset — Reset Ausgabe 

Ausgabe von Abweichungsbetrag oder "0" 

Ausgabe von Abweichungsbetrag oder "0" 

letzte Zeile: Schreib in (1 ,1) Schreib in (1 2) 

Fig. 34 

CCD Field signal - CCD Teilbildsignal 
Picture input = Bildeingabe 
Stand-by = Standby 
Processing «= Verarbeitung 
Transfer =» Transfer 
darunter: 

VierZeilen vom rechten Bild 
VierZeilen vom linken Bild 
VierZeilen vom Ergebnis 
Calculation = Berechnung 

darunter: Vier Zeilen vom BerechnungsprozeB wie bei der City-Block-Distanz 
darunter: City-Block-Distanz Berechnung 4x4 Pixel 
darunter: Prufe hinsichtlich Differenz und Ergebnis 
N'o work: Keine Arbeit 
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Fig. 35 

5201 « Setze Position von StraBenoberflache 

5202 «= Teile Distanzbild in Regionen 

5203 o Lies Daten aus Anf angsregion 
5 S214 « Lies Daten aus dernachsten Region 

5204 = Setze Anfangsdaten 

5209 = Setze nachste Daten 

5205 <= Berechne Distanz und H6he vom Gegenstand 

5206 = Berechne H6he der StraBenoberflache 
io S207 o Selektierte Daten auf oder iiber StraBenoberflache 

$208 = Enddate? 

5210 = Bildungdes Histogramms 

521 1 = Detektiere Sektion, in der der Grad uber Beurteilungswert und Maximalwert liegt 

52 12 = Detektiere Vorhandensein oder Fehlen und Distanz vom Objekt 
15 S213 - Endregion? 

521 5 » Detektiere Distanz und Existenzregion von jedem Gegenstand 

Fig. 36 

521 6 = Setze Parameter von erstem Gegenstand 
20 S226 = Setze Parameter von nachstem Gegenstand 

521 7 » Setze Hohe vom unteren Ende und Distanzbereich vom dreidimensionaJen Fenster 

5218 = Berechne zweidimensionale Fensterform 

52 1 9 = Lies Daten im zweidimensionalen Fenster 

5220 = Berechne dreidimenisionale Position vom Gegenstand 

25 S221 « Selektion von im dreidimensionalen Fenster enthaltenen Daten 

5222 « Projektion auf zweidimensionalen Schirm 

5223 — Bilde Konturbild durch Verbinden von Daten dutch Linien 

5224 — Berechnung von Form, Gr6Be, Position und Geschwindigkeit vom Gegenstand 

5225 = Endgegenstand? 

30 S227 = Schreib Parameter vom Gegenstand in Speicher 
End mm Ende 

Fig. 37 

S301 = Setze Position von StraBenoberflache 
35 S302 == Lies erste Distanzdaten 
S307 = Lies nachste Distanzdaten 

5303 = Berechne Position (X,Z-Koordinate) und Hohe (Y-Koordinate) vom Gegenstand 

5304 — Berechne H6he H (Y-Koordinate) von StraBenoberflache 

5305 = Extrahiere als Konstruktionsdaten die, die uber der StraBenoberflache und unterhalb der Hohe des 
40 Fahrzeugs liegeh 

5306 = Enddaten? 

. S308 = Lies Anfangskonstruktionsdaten 

53 13 « Lies nachste Konstruktionsdaten 

S309 = Berechnung von Position (X T Z-Koordinate) vom Gegenstand 
45 S3 10 = InSuchregion? 

5311 = Votierung auf Parameterraum 

5312 = Enddaten? 

53 14 = Detektion vom lokalen Maximumwert auf Parameterraum 

5315 « Ober Beurteilungswert? 

50 S3 17 = Bestimme Vorhandensein von Seitenwand 

53 1 6 = Bestimme Fehlen von Seitenwand 

Fig. 38 

S318 = Lies Parameter (af, bf) von GeFadlinien-Gleichung, gezeigt von lokalem Maximumpunkt 
55 S3 19 == Setze Seitenwand Kandidatenregion 

5320 « Lies Anfangsobjektdaten inSuchregion 

5324 = Lies nachste Objektdaten in Suchregion 

5321 = Berechne Position (X,Z-Koordinate) voni Gegenstand 

5322 j= Extraktion von Daten in Seitenwandkandidatenregion 
60 S323 - Enddaten? 

5325 = Bilde Histogramm aus Daten in Seitenwandkandidatenregion 

5326 = Detektiere Sektion, in der der Grad uber dem Beurteilungswert liegt 

5327 = Berechne vordere und hintere Endposition von Seitenwand 

5328 = Schreib Parameter von Seitenwand in Speicher 

65 ' 
Fig. 39 

5401 — Eingabe von Position einer Kante vom Gegenstand und Seitenwand 

5402 = Ermittle jeweils linke und rechte Distahzen zwischen Verlangerungslinien des Fahrzeugs und Kanten 
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des Gegenstandes oder Seitenwandende 

5403 = Bestimme jeweils linken und rechten Minimumwert 

5404 = Anzeige von linkem und rechtem Minimumwert als Zwischenraumdistanz auf Display 

Patentanspriiche 

1. Fahrleitvorrichtung fflr ein Fahrzeug, in dessen vorderem Bereich zwei Kameras zur Aufnahme einer 
dreidimensionalen AbbUdung von sich vor dem Fahrzeug befindenden Gegenst&nden und zur Erzeugung 
eines Bildsignals angebracht sind, aufweisend: 

eine stereoskopische Bildverarbeitungseinrichtung (15), die abhSngig vom Bildsignal ein Paar stereosko- 
pischer Bilder des Gegenstandes auBerhalb des Fahrzeugs verarbeitet und ein Distanzsignal durch Ermit- 
teln einer Distanzverteilung flber ein gesamtes Biid in Abhangigkeit von durch Abweichungsbetrage (x) 
gekennzeichneten Positionen entsprechend dem Paar stereoskopischer Bilder gem&B einem Triangulations- 
prinzip liefert; 

eine Objektdetektoreinrichtung (100), die abhangig von diesem Distanzsignal mehrere verschiedene Ge- 
. . genstande durch Heranziehen von dreidimensionalen Positionsdaten detektiert, die fur einen jeden Ab- 
schnitt des jeweiligen Gegenstandes entsprechend der Distanzverteilung berechnet werden, und die ein 
Distanzsignal erzeugt; 

eine Zwischenraumdistanz- Berechnungseinrichtung (110), die abh&ngig von einem Verteilungssignal je- 
weils eine nSchste Distanz linker und reenter Zwischenraumdistanzen, die jeweils von einer verlangerten 
Linie der linken oder rechten Seite des Fahrzeugs und jedem Ende der Fahrzeugseite zu den mehreren 
verschiedenen Gegenstanden bestimmt sind, berechnet und ein Distanzsignal erzeugt; und 
eine Informationseinrichtung (3; 115), die abhangig von diesem Distanzsignal einem Fahrer sich auf die 
rechten und linken Zwischenraumdistanzdaten beziehende Daten derart vermittelt, daB die Umgebungsbe- 
dingungen des Fahrzeugs vollstSndig und exakt angezeigt werden und die dem Fahrer auferlegte Last beim 
Fahren auf einem engen Fahrweg deutlich herabgesetzt ist 

2. Fahrleitvorrichtung nach Anspruch 1 , ferner gekennzeichnet durch 

zwei Paare (11, 12) von (CCD-) Kameras in Form ladungsgekoppelter Bausteine, die jeweils als das 
Abbildungssystem (10) ah einer Vorderseite des Fahrzeugs (1) unter einem vorbestimmten Abstand ange- 
ordnet sind, wobei ein Paar (12) fiir groBe Distanzen und ein Paar (11) fur kurze Distanzen vorgesehen ist 
und jedes Paar iiber eine linke und rechte Kamera verfugt; 

einen in der stereoskopischen Bildverarbeitungseinrichtung (15) vorgesehehen Bildpfozessor (20) mit einer 
Distanzdetektoreinrichtung (20a) zum Aufsuchen eines Bereichs, in dem derselbe Gegenstand in jeder von 
kleinen Regionen des Paares stereoskopischer Bilder von den CCD- Kameras abgebildet ist, und zum 
Berechnen einer Distanz zum Gegenstand durch Ermitteln eines Abweichungsbetrages (x) einer diesem 
Bereich entsprechenden Position, und mit einem Distanzbildspeicher (20b) zum Speichern der von der 
Distanzdetektoreinrichtung (20a) ausgegebenen Distanzdaten; 

einen Distanzbild-Verarbeitungscomputer (120), der als die Objektdetektoreinrichtung und die Zwischen- 
.raumdistanz-Berechnungseiririchtung dient und als Multi-Mikroprozessorsystem ausgelegt ist mit einem 
ersten Mikroprozessor (120a) zur hauptsachlichen Detektionsverarbeitung individueller Gegenstande, ei- 
nem zweiten Mikroprozessor (120b) zur hauptsachlichen Detektionsverarbeitung einer Seitenwandung, 
einem dritten Mikroprozessor (120c) zur hauptsachlichen Berechnungsverarbehung einer Zwischenraum- 
distanz und einem Systembus (121) zum parallelen Verbinden des ersten bis dritten Mikroprozessors; und 
einer Displayeinrichtung (3) aJs die Informationseinrichtung (115) zur Anzeige von durch die Berechnungs- 
verarbeitung der Zwischenraumdistanzen gewonnenen Zwischenraumdaten fiir den Fahrer. 

3. Fahrleitvorrichtung nach Anspruch 2, ferner gekennzeichnet durch 

eine Objekterkennungseinrichtung(130), die durch den ersten Mikrocomputer (120a) vorgesehen ist; 
einen Seitenwanddetektor(140), der durch den zweiten Mikroprozessor (120b) vorgesehen ist; 
einen Zwischenraumdistanz-Berechner (160), der durch den dritten Mikroprozessor (120c) vorgesehen ist; 
einen Konstruktionsparameterspeicher (150) zum Speichern eines Verarbeitungsergebnisses von der Ob- 
jekierkennungseinrichtung (130) und dem Seitenwanddetektor zur Ausgabe an den Zwischenraumdistanz- 
Berechner (160). ' 

4. Fahrleitvorrichtung nach Anspruch 3, ferner gekennzeichnet durch 

einen Objektdetektor (131), der das Distahzbild vom Distanzbildspeicher (20b) des Bildprpzessors in vorbe- 
stimmte streifenformige Intervallabschnitte aufteilt und zur Berechnung der detektierten Distanz nur 
Konstruktionsdaten selektiert, die als Gegenstand eine Gefahr fur die Weiterfahrt darstellen; 
eine Erzeugungseinrichtung (132) fiir ein dreidimensionales Fenster zur Festlegung einer dreidimensionalen 
Raumregion rechtwinkliger solider Raumform bezuglich der jeweiligen durch den Objektdetektor detek- 
tierten Gegenstande und zum Berechnen, wie sich das festgelegte dreidimensionale Fenster auf einem 
zweidimensionalen Bild darstellt, um so den detektierten Gegenstand nur bezuglich Daten innerhalb der 
FensrerumriBlinie gemaB dem zweidimensionalen Fenster festzulegen; und 

eine Objektkontur-Extrakiionseinrichtung (133), die Date um Date im zweidimensionalen Fenster begut- 
achtet, um dann nur Daten zu seiektieren, die im dreidimensionalen Fenster enthalten sind, die ein Kontur- 
bild des detektierten Gegenstandes extrahiert und die positionelle Beziehung zwischen dem detektierten 
Gegenstand und der fahrzeugeigenen Karosserie bestimmt 

5. Fahrleitvorrichtung nach Anspruch 4, ferner gekennzeichnet durch 

eine Objektdaten-Extraktionseinrichtung (141), die nur Daten uber einer vorbestimmten StraBenoberflache 
selektiert, die vorab aus den Distanzverteilungsdaten festgelegt ist, die vom Distanzbildspeicher (20b) des 
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Bildprozessors zugefiihrt wurden; 

einen Seitenwand-Geradliniendetektor (143X der nur Daten innerhalb einer vorab festgesetzten Seiten- 
wandsuchregion extrahiert, zur Verbreitung der extrahierten Daten durch die Hough-Transformation, 
wodurch eine lineare Gleichung erfafit wird, die das Vorhandensein oder Fehlen einer Seitehwand und 
deren Position anzeigt; und 

einen Seitenwandbereichsdetektor (143), der eine Seitenwandkandidatenregion festlegt, wobei das Voriie- 
gen einer Seitenwand auf der Grundlage einer geraden, die Position der Seitenwand zeigenden Linie 
abgeschatzt wird, und der die Positionen von vorderen und hinteren Eriden der Seitenwand abhingig vom 
Verteilungszustand der Konstruktionsdaten in der Seitenwandkandidatenregion detektiert. 
.6. Fahrleitverfahren fur ein Fahrzeug, in dessen vorderem Bereicb zwei Kameras zur Aufnahme einer 
dreidimensionaien Abbildung von sich vor dem Fahrzeug befindenden Gegenstanden und zur Erzeugung 
eines Bildsignals angebracht werden, beinhaltend: 

einen Schritt der Verarbeitung eines Paares stereoskopischer Bilder des Gegenstandes auBerhaib des 
Fahrzeugs und der Erzeugung eines Pistanzsignals durch Ermitteln einer Distanzverteilimg Qber ein 
gesamtes Bild in Abhangigkeit von durch AbweichungsbetrSge gekennzeichneten Positionen entsprechend 
dem Paar stereoskopischer Bilder gemaB einem Triangulationsprinzip; 

einen Schritt der Detektion mehrerer verschiedener Gegenstande durch Heranziehen von dreidimensiona- 
ien Positionsdaten, die fQr einen jeden Abschnitt des jeweiligen Gegenstandes entsprechend der Distanz- 
verteilung berechnet werden, und der Erzeugung eines Distanzsignals; . 

einen Schritt der Berechnung einer nachsten Distanz linker und reenter Zwischenraumdistanzen, die jeweils 
von einer veriangerten Linie der linken oder rechten Seite des Fahrzeugs und jedem Ende der Fahrzeugsei- 
te zu den mehreren verschiedenen Gegenstanden bestimint werden; und 

einen Schritt der Information eines Fahrers Qber sich auf die rechten und linken Zwischenraumdistanzdaten 
beziehenden Daten derart, daB die Umgebungsbedingungen des Fahrzeugs vollstandig und exakt angezeigt 
werden und die dem Fahrer auferlegte Last beim Fahren auf einem engen Fahrweg deutlich herabgesetzt 
ist. 

7. Fahrleitverfahren nach Anspruch 6, ferner gekennzeichnet durch 

einen Schritt der Gewinnung von Daten groBer Entfernung in einem Bild vor dem Fahrzeug; 

einen Schritt der Gewinnung von Daten kleiner Entfernung in einem Bild vor dem Fahrzeug; 

einen Schritt zum Aufsuchen eines Bereichs, in dem derselbe Gegenstand in jeder von kleinen Regionen des 

Paares stereoskopischer Bilder der CCD- Kameras abgebildetist; 

einen Schritt zum Berechnen einer Distanz zum Gegenstand durch Ermitteln eines Abweichungsbetrages 
einer diesem Bereich entsprechenden Position, und zum Speichern der von einer Distanzdetektoreinrich- 
tung ausgegebenen Distanzdaten; 

einen Schritt der Detektionsverarbeitung einer Seitenwand, der Zwischenraumdistanz- Berechnung, der 
Gegenstandsdetektipnsverarbeitung und der parallelen Verbindung entsprechender Mikroprozessoren 
uber einen Systembus; und 

einen Schritt der Anzeige von durch die Berechnungsverarbeituftgen der Zwischenraumdistanzen gewon- 
nenen Zwischenraumdaten fur den Fahrer. 

8. Fahrleitverfahren nach Anspruch 7, ferner gekennzeichnet durch 

einen Schritt, der das Distanzbild von einem Distanzbildspeicher eines Bildprozessors in vorbestimmte 
streifenformige Intervallabschnitte aufteilt; 

einen Schritt, der zur Berechnung der detektierten Distanz hur Konstruktionsdaten selektiert, die als 
Gegenstand eine Gefahr fur die Weiterfahrt darstellen; 

einen Schritt der Festlegung einer dreidimensionaien Raumregion rechtwinkliger solider Raumform bezug- 
lich der jeweiligen durch einen Objektdetektor detektierten GegensUnde; 

einen Schritt zum Berechnen, wie sich das festgelegte dreidimensionale Fenster auf einem zweidimensiona- 
len Bild darstellt, urn so den detektierten Gegenstand nur beziiglich Daten innerhalb der FensterumriBiinie 
als das zweidimensionale Fenster festzulegen; 

einen Schritt, der die Date urn Date im zweidimensionalen Fenster begutachtet; 

einen Schritt, um nur Daten zu selektieren, die im dreidimensionaien Fenster enthalten sind; 

einen Schritt, der eiri Konturbild des detektierten Gegenstandes extrahiert; und 

einen Schritt, der die positionelle Beziehung zwischen dem detektierten Gegenstand und der fahrzeugeige- 
nen Karosserie bestimmt. 

9. Fahrleitverfahren nach Anspruch 8, ferner gekennzeichnet durch 

einen Schritt, der nur Daten uber. einer vorbestimmten StraBenoberflache extrahiert, die vorab aus den 
Distanzverteilungsdaten festgelegt ist, die vom Distanzbildspeicher des Bildprozessors zugefiihrt wurden; 
einen Schritt, der nur Daten innerhalb einer vorab festgesetzten Seitenwandsuchregion extrahiert; 
einen Schritt zur Verarbeitung der extrahierten Daten durch die Hough-Transformation, wodurch eine 
lineare Gleichung erfaBt wird^. die das Vorhandensein oder Fehlen einer Seitenwand und deren Position 
anzeigt; 

einen Schritt, der eine Seitenwandkandidatenregion festlegt, wobei das Vorliegen einer Seitenwand auf der 
Grundlage einer geraden, die Position der Seitenwand zeigenden Linie abgeschatzt wird; und 
einen Schritt, der die Positionen von vorderen und hinteren Enden der Seitenwand abhangig vom Vertei- 
lungszustand der Konstruktionsdaten in der Seitenwandkandidatenregion detektiert 
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